来源:微软Windows开发者博客、IT之家
6月14日,微软推送Windows 11 26H2重大更新,其中最引人注目的是原生集成本地大模型API,全面支持NVIDIA显卡的离线AI加速。
据介绍,新的Windows AI API提供了统一的大模型调用接口,开发者可以轻松在应用中集成本地AI功能,无需依赖云端。系统会自动调用GPU进行加速,在RTX 40系显卡上,7B参数模型的推理速度可达每秒50 token以上。
更新后,Windows 11自带的多项功能将率先应用本地AI能力,包括照片应用的AI修图、记事本的AI写作、系统搜索的智能问答等。这些功能全部在本地运行,用户数据不上传云端。
微软表示,正在与多家大模型厂商合作,推动更多模型适配Windows AI API。用户可以像安装字体一样安装不同的AI模型,根据需要选择使用。
业内认为,Windows原生支持本地大模型是一个重要里程碑,标志着端侧AI时代的到来。未来越来越多的AI应用将在本地运行,既保护隐私又降低延迟。