微软在 Windows 11 中构建 AI 助手,采用新语言模型
去年,微软推出了配备专用NPU(近场处理单元)的Copilot+计算机,每秒可执行超过400亿次运算。这些系统包括Phi-Silica,这是一个用于设备的“小型”语言模型,旨在提高微软应用程序和第三方软件的语言理解能力。
最近,微软推出了一种名为 Mu 的新语言模型,它直接内置于 Windows 11 中。Mu 为“设置”应用中的全新智能助手提供支持,该助手能够理解用户的自然查询,并将其集成到搜索栏中,从而提供更佳的用户体验。目前,该功能已在 Copilot+ PC 的开发者频道中面向 Windows Insiders 进行 Beta 测试。
与 Phi-Silica 语言模型一样,Mu 也针对 AI 性能进行了优化,每秒可在本地生成超过 1000 亿次运算,无需连接到云端。微软在一篇博客文章中透露了有关 Mu 模型架构和学习的关键信息:
- Mu 是一个基于编码器-解码器架构的语言模型,拥有 3.3 亿个参数。
- 与同等规模的解码模型相比,该架构可使第一条指令的延迟降低 47 %,解码速度提高 4.7 倍。
- 它利用特定组件中的任务划分来减少参数的数量。
- 它通过 Azure 机器学习平台在 NVIDIA A100 GPU 上进行训练。
- 尽管体积较小,但它的性能与优化的 Phi-3.5-mini 相似。
- 它最适合于多词查询;词汇和语义结果继续用于较短的术语。
感兴趣的用户可以通过安装 Windows 11 Build 26120.3964 (KB5058496) 或更高版本来试用该功能。它可能很快就会成为 Windows 11 的永久组成部分。