还在为复杂的Windows设置头疼？微软来重新定义设置界面交互了。
全新发布的设备端小语言模型Mu，让Windows 11的设置也拥有了自己的AI Agent。
有了它，查找和更改PC设置就变得容易得多，现在只需要一个简单的问句，例如：
我的鼠标指针太小。
Mu就会立马推荐解决步骤，一键点击应用就可以自动执行任务，获得一个Plus版指针。
或者想要声控电脑？
也是直接在搜索栏输入自己的需求就能够完成设置。
这下终于可以不用到处求助度娘或小红薯，某某功能又该怎么设置？听懂的都泪目了TT。
Mu将面向Copilot+PC，实现将自然语言查询直接映射到设置函数调用，本地运行相当高效，每秒能提供超100个token。
性能堪比微软的得意之作Phi模型，但只有它的十分之一大小，约为330M。
该功能可以在Windows 11 预览版的“设置”菜单的查询处找到，需要是搭载Snapdragon的Copilot+电脑，后续还将拓展到AMD和Intel™支持的PC。
温馨提示，现在只支持使用英语对话～
在设置中启用Agent
Mu是一种高效的330M编码器-解码器模型，针对小规模部署专门进行了优化。
模型基于Transformer架构搭建，意味着编码器将会把输入转换为固定长度的潜在表达，然后解码器生成输出token。
通过将输入token和输出token分离，Mu的一次性编码显著降低了计算和内存需求，具有更低的延迟和更高的吞吐量。
与Phi-Silica一样，Mu旨在NPU上高效运行，并通过微调模型架构和参数形状完成NPU适应：
- 模型架构调整：选择与NPU偏好的张量尺寸和向量化单元相匹配的层维度（如隐藏层大小和前馈网络宽度），确保矩阵乘法等操作能以峰值效率运行。
- 参数形状变化：对编码器和解码器之间的参数采用2/3–1/3的比例分配，例如一个配置中包含32个编码器层与12个解码器层，以确保最大化单位参数的性能表现。
为了减少总参数数量，Mu在某些组件中采取权重共享方法，节省内存空间，并提高编码和解码词汇表的一致性。
另外，Mu将操作限制在仅运行支持的NPU优化算子，避免无效操作，充分利用NPU的加速能力。
Mu还添加了三个关键的transformer升级，分别是pre- and post-LN、RoPE和GQA。
- pre- and post-LN（双层归一化）：在每个子层前后进行标准化。
- RoPE（旋转位置嵌入）：通过复值旋转将相对位置嵌入注意力中。
- GQA（分组查询注意力）：将查询进行分组，每个组内共享一组键、值。
Mu在Azure机器学习上使用NVIDIA A100 GPU进行训练，依次先在数千亿高质量教育token上预训练，再从Phi模型中蒸馏知识，并结合特定任务数据和LoRA微调。
最终实现Mu尽管只是几亿个参数的微小尺寸，只有Phi-3.5-mini的十分之一，但性能却不相上下，能处理长输入上下文和快速输出。
此外为了在设备端高效运作，Mu运用了专为Copilot+PC上的NPU设计的模型量化技术PTQ，将模型权重和激活从浮点转换为整数表示，主要是8位和16位。
微软同时还与芯片合作商协作优化，包括调整数学运算符、与特定硬件的执行模式保持一致等，使其可以在边缘设备上进行高效推理。
例如下面Mu利用维基百科在边缘设备上运行问答任务。
在设置中还通过将训练样本扩展至3.6M，将50个设置增加到数百个，对Mu进行微调，实现了不到500毫秒的响应时间和精度要求。
另外该模型也更适合于多单词查询。对于短词或部分词的模糊输入，“设置”应用将继续在搜索框中显示词法和语义搜索结果。
Copilot+PC近期动作频频
Copilot+PC是微软为下一波个人计算浪潮设计的野心之作，由NPU支持、AI驱动，旨在简化重塑用户工作流程，并相继推出了多款AI工具。
例如Recall功能可以帮助用户在几秒钟内回溯当前步骤，快速查找并返回应用程序、网站、图像或文档。
在AI驱动下，它也拥有更好的自然语言搜索功能，无论目标文档或图像是位于文件资源管理器还是设置中。
最近同时推出的Click to Do功能则可以帮助快捷保存文本或图像，可以从图像中复制文本到摘要文本，甚至从图像中快速删除对象或背景，在提高工作效率的同时也会继续保持流程运行。
这下可以一边利用Click to Do快速安排会议或者将识别的电子邮件在Microsoft Teams中发起聊天，一边继续工作，或者偷个懒，将屏幕上的表格信息直接发送给Microsoft Excel，工作效率蹭蹭暴涨。
另外Copilot+PC最近还专门为AI照片、画图等编辑工具引入新功能。
例如重新点亮照片的Photos relight，只需单击选择喜欢的内置灯光预设，就可以为照片添加创意效果。
单个光源也可以进行调节，用户可以自行改变光线朝向焦点的方向和接近度，以及调整颜色偏好和效果强度。
微软为Paint应用程序新增了贴纸生成器，一个简单的文本prompt就可以创建自定义数字贴纸，还可以利用AI对画布上的单个特定元素进行定位编辑。
屏幕截图后，是不是总需要反复裁剪，才能满足需要？
现在Copilot+PC推出了可以完美截图的AI工具，自动捕捉屏幕内容区域，对齐视图突出内容。
另外还有可以直接从图像中提取和复制文本的文本提取器，从屏幕任何位置都能捕获颜色RGB值的颜色选择器……
可以说，微软现在正对Copilot+PC进行大刀阔斧的改进，希望用户的体验可以更直观、更易于访问也更有用。
不过就像广大网友们的共同呼声，什么时候才能全windows用户都能享受到哇。
那么你会为了这些新功能，买台Copilot+PC吗？
