> 原创文章，来源于 AI 技术趋势自动整理。发布前请在腾讯云开发者社区编辑器中复核标题、封面、标签和外链。
>
> Foundry Local 1.2调用路径拆解
>
> ## 1. Foundry Local 1.2：把本地 ASR、Embeddings 和 Responses API 放进边缘 AI 工作流
>
> ## 开场判断
>
> 这个工具真正解决的麻烦，不是“本地跑一个模型”，而是让模型在 AI PC、Linux ARM64、Windows NPU/GPU、边缘设备和断网环境里保持同一套开发路径。Foundry Local 适合放进本地 AI 原型到可交付功能之间的那段流程：模型下载、运行时选择、硬件加速、取消任务、语音转写、Embeddings 和 Responses API 都尽量收进一个 SDK 体系里。它不适合只想临时调用一次云端大模型、完全不关心设备差异的团队。
>
> ## 关键信息
>
> - 入口：Microsoft Foundry Blog 指向 Foundry Local 文档、GitHub samples 和 Foundry Local on Azure Local 预览申请。
> - - 版本：Foundry Local 1.2.0 新增 40+ 语言实时 ASR、Linux ARM64 支持、WinML 2.0 加速路径。
>   - - 接口：Live Transcription API、Text Embeddings、Responses API，可覆盖语音、RAG、工具调用和视觉语言输入。
>     - - SDK：C#、Python、JavaScript、Rust、C++ 均支持下载取消和执行提供器相关流程。
>       - - 失败边界：跨设备稳定交付仍要验证模型体积、首次下载速度、硬件加速可用性和离线更新机制。
>        
>         - ## 项目来源
>        
>       - Foundry Local 是微软在 Foundry 体系下推进的跨平台本地 AI 方案。原文来自 Microsoft Foundry Blog，围绕 Microsoft Build 2026 的本地与边缘 AI 更新展开。它的定位很清楚：让开发者把 AI 能力直接嵌入应用、设备和边缘系统，减少云依赖、网络延迟和按 token 计费的不确定性。
>     - 1.1.0 已经加入实时音频转写、文本向量、Responses API、独立分发的 WebGPU execution provider plugin，并通过把 JavaScript 包里的 koffi FFI 层替换为自定义 Node-API C addon 来缩小包体。1.2.0 则把重点放在设备覆盖和运行控制上，包括 Nemotron 3.5 ASR Streaming Multilingual 模型、Linux ARM64、Azure Traffic Manager 加速模型目录下载、WinML 2.0，以及 Windows 上的 WebGPU execution provider。
>   - ## 最小使用路径或操作步骤
> - 1. 目标读者先确认场景：如果你要做本地语音输入、离线 RAG、PDF/桌面助手、边缘设备推理，Foundry Local 才有试用价值；如果只是网页聊天机器人，云 API 更直接。
>   2. 2. 前置条件是准备一台目标设备，例如 Windows AI PC、Linux ARM64 设备、Raspberry Pi 5、NVIDIA Jetson、AWS Graviton 或 Ampere。原文未给出完整安装命令，建议从 Foundry Local GitHub README 和 Microsoft 文档入口开始。
>      3. 3. 选择一个最小能力验证：语音场景可跑 live-audio-transcription sample；检索场景验证 Text Embeddings；工具调用或多模态交互验证 Responses API。
>         4. 4. 接入时记录模型下载、模型加载、推理取消、执行提供器下载进度。Python SDK 已支持 per-EP download progress，不要只看“能不能跑通”。
>            5. 5. 用真实输入做检查：语音输入看端到端延迟和词错率，RAG 看召回质量和本地索引体积，桌面应用看 CPU/NPU/GPU 占用。GitHub Copilot CLI 的 /voice on 是一个可参考的真实集成路径。
>              
>               6. ## 核心技术点或配置与权限
>              
>            6. Foundry Local 的工作流可以拆成四段：应用请求进入 SDK，SDK 从 catalog 选择模型并完成下载，运行时根据设备选择 execution provider，结果再回到应用层。原文给出的 Python 示例涉及 Configuration、FoundryLocalManager、catalog.get_model、model.download、model.load、create_live_transcription_session、append(pcm_bytes) 和 get_stream()。这说明它不是单纯包装一个推理服务，而是把模型发现、下载、加载和会话式流处理都放进开发接口里。
>         5. 权限和数据边界也要单独看。GitHub Copilot CLI 的语音输入案例里，麦克风音频被捕获后送入本机 Foundry Local live transcription session，使用 Nemotron ASR Streaming 模型，partial 和 final results 再进入 CLI input buffer，原文强调没有云端跳转、音频不离开机器。这对隐私敏感场景有吸引力，但也意味着设备端要承担模型存储、推理资源和兼容性验证。
>      4. Foundry Local on Azure Local 是另一条路径，面向更重的本地平台：它以 Kubernetes 容器化工作负载运行在 Azure Local 上，通过 Azure Arc 编排，预览能力包括 Model Catalog on Azure Local、Agentic Retrieval、Custom MCP tools、Azure Local solution templates、GitHub Enterprise Local，以及小型工控/加固设备形态。这里更像边缘基础设施，不是个人开发者装个 SDK 就能全部覆盖。
>   3. ## 验收与失败边界
> - - 验收指标：语音输入至少记录 speech-to-token 端到端延迟、转写质量和资源占用；原文提到内部测试约 8% Word Error Rate，以及转写时低个位数 CPU 占用，可作为参考但不能直接替代自测。
>   - - 权限与隐私边界：本地推理能减少音频、文档、财务信息离开设备的概率，但应用仍要明确麦克风、文件读取、索引存储、日志采集和模型缓存目录的权限。
>     - - 部署边界：如果目标设备跨度很大，必须分别验证 CPU、NPU、iGPU、dGPU 和 WebGPU/WinML 路径，不能只在开发机成功就扩大使用。
>       - - 失败条件：首次模型下载过慢、执行提供器不可用、取消推理后仍有孤立流、离线环境无法更新模型目录，都不适合进入更大范围试点。
>        
>         - ## 这事意味着什么
>        
>       - 对开发者来说，Foundry Local 的价值在于把“本地 AI 是否可用”的判断提前到了工程接口层。过去做边缘 AI，经常是 demo 阶段模型效果不错，真正接进应用时才发现包体、驱动、运行时、硬件加速、离线更新和取消任务全是分散问题。Foundry Local 试图把这些问题收束成一个可重复的本地运行链路。
>     - 这也改变了选型方式。你不应该只问模型分数高不高，而要问：SDK 是否覆盖你的语言栈，目标硬件是否在支持范围内，模型目录下载是否稳定，执行提供器是否能被观测，失败时能否取消任务并释放资源。短期真正值得试的点，是用它替换“自管本地运行时+手动适配硬件”的那部分胶水代码。
>   - ## 读者决策
> - > 今天可以试的人：正在做 Windows AI PC、桌面助手、本地语音输入、离线 RAG、PDF/文档 AI、Linux ARM64 边缘设备的开发者，可以从 Foundry Local 1.2.0 的 sample 和 README 开始，先跑一个单能力 demo。应该先观望的人：只需要云端 API、没有本地隐私或低延迟要求、也没有多设备交付压力的团队。试用时看三个指标：模型首次下载和加载时间、真实输入下的端到端延迟与质量、目标设备上的 CPU/NPU/GPU 占用和取消任务是否干净。原文没有给出完整安装命令和成本模型，所以不要把它直接当成完整部署方案；先把它当作本地 AI 工具链候选项做小范围验证。
>   >
>   > 关键词：本地AI、边缘、微软、ASR、RAG
>   > 

原创文章，来源于 AI 技术趋势自动整理。发布前请在腾讯云开发者社区编辑器中复核标题、封面、标签和外链。

Foundry Local 1.2调用路径拆解

原创文章，来源于 AI 技术趋势自动整理。发布前请在腾讯云开发者社区编辑器中复核标题、封面、标签和外链。 Foundry Local 1.2调用路径拆解 这个工具真正解决的麻烦，不是“本地跑一个模型”，而是让模型在 AI PC、Linux ARM64、Windows NPU/GPU、边缘设备和断网环境里保持同一套开发路径。Foundry Local 适合放进

人工智能

客户端

开发工具

微软FoundryLocal1.2提供跨平台本地AI解决方案，支持40+语言实时语音转写、文本向量和响应API，适用于Windows、LinuxARM64等设备。该SDK整合模型下载、硬件加速和离线推理，适合开发本地语音输入、离线RAG等边缘AI应用，减少云端依赖和隐私风险。

聊天机器人

网络延迟

Kubernetes

边缘AI

Windows

Python

容器

4核4G3M云服务器 新用户低至38元/年！

语音产品特惠新用户14.9元起


2026年中大促 | AI 领航 智绘未来

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Foundry Local 1.2调用路径拆解-腾讯云开发者社区-腾讯云

Foundry Local 1.2调用路径拆解

Foundry Local 1.2调用路径拆解

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐