> 原创文章，来源于 AI 技术趋势自动整理。发布前请在腾讯云开发者社区编辑器中复核标题、封面、标签和外链。

6/4/2026 AI速递 | Gemini、Ideogram多模态工作流

## 1. Gemini Spark 与 Antigravity 2.0：Google 把 Gemini 推向后台代理工作流

Google I/O 2026 的核心变化不是再发布一个聊天入口，而是把 Gemini 从“问答工具”推向能在后台持续执行任务的代理系统。Sundar Pichai 在开场演讲中提到，Gemini 应用月活已超过 9 亿，Google 模型 API 每分钟处理约 190 亿 token，Gemini 3.5 Flash 已面向产品和 API 开放，并被用于 Antigravity 2.0 和 Gemini Spark 等新代理能力。

对普通用户，Gemini Spark 更像一个 24/7 的个人助理：它运行在 Google Cloud 的专用虚拟机上，可在用户授权下处理长周期任务，并计划通过 Gemini App、邮件、聊天、Chrome 和 Android Halo 展示进度。典型场景包括整理日程、生成晨间摘要、跟踪网页信息、根据纸质或零散笔记生成文档。Docs Live 则把“口述想法到文档草稿”的链路缩短，适合会议记录、课程复习、写作提纲和轻量办公。

对开发者，更关键的是 Gemini API 和 Antigravity 2.0 的组合。Antigravity 从编码环境扩展为管理自主代理群组的桌面应用，Spark 还会在后续通过 MCP 接入第三方工具。这意味着可行工作流会变成：用户提出目标，模型拆解任务，代理调用 Google 工具或外部 MCP 工具，后台执行并回传进度，最后由用户审核结果。短期来看，这套能力更适合已经使用 Google Workspace、Gemini API 或 Antigravity 的开发者和小团队；不适合对数据本地化、私有部署和跨云中立性要求很高的组织。

上手路径可以很务实：个人用户先从 Gemini App、Docs Live、Daily Brief 这类低风险功能试用；开发者则优先评估 Gemini 3.5 Flash API 的成本、延迟和工具调用稳定性，再把日历、文档、邮件、搜索或内部知识库包装成受控工具。不要一开始就让代理接管高权限操作。更稳妥的配置是只读权限起步，写操作加人工确认，关键任务记录输入、工具调用、输出和失败原因。

限制也很明确。后台代理会放大权限边界、隐私和误操作问题，MCP 工具调用失败、网页环境变化、速率限制和 token 成本都可能影响结果。Google 提到 Flash 相比部分前沿模型价格更低、速度更快，但长任务并不等于低成本。可复用建议是：把 Gemini 代理先用于摘要、检索、草稿、提醒和低风险编排；涉及付款、发布、删除、外发邮件等动作时，保留人工审核和回滚路径。

关键词：Gemini、代理、MCP、工作流

## 2. Microsoft Foundry 在 Build 2026 更新：托管运行时、记忆与实时语音把 Agent 开发推向可配置工作流

Microsoft 在 Build 2026 上更新 Microsoft Foundry，重点不是再发布一个聊天入口，而是把 AI 代理开发中最容易出问题的几块拆出来：运行时、工具调用、记忆、语音交互和知识接入。新功能包括托管运行时、工具箱、Memory、Real-Time Voice Response，以及 Foundry IQ。对开发者来说，这更像是一套面向 Azure 生态的 Agent 施工包，目标是减少从原型到可运行服务之间的胶水代码。

这类能力主要解决三个问题：代理怎么稳定执行任务，怎么调用外部工具，怎么在多轮任务中保留上下文。过去很多团队用 LangChain、Semantic Kernel 或自写编排层拼接模型、RAG、函数调用和状态存储，能跑起来，但日志、权限、重试、超时和评测经常散在不同系统里。Foundry 的托管运行时更适合把这些能力纳入 Azure 统一管理，工具箱则面向 API、业务系统和 MCP 类工具调用场景，Memory 用来保存用户偏好、任务状态或业务实体关系。

典型应用场景包括客服代理、内部知识助手、代码运维助手、销售资料检索、语音预约和工单处理。Real-Time Voice Response 对呼叫中心、车载助手、现场服务终端更直接，因为它把语音输入、模型推理和响应链路压到实时交互里；Foundry IQ 则更偏企业知识层，用于连接 Microsoft 365、业务文档和结构化数据，让代理在回答问题或执行任务前先拿到可信上下文。

上手路径可以按小闭环推进：<ol><li>在 Azure AI Foundry 中创建项目，选定模型和区域，先做文本型代理原型。</li><li>接入一两个低风险工具，例如查询知识库、创建测试工单或读取 CRM 只读字段。</li><li>加入 Memory，只保存明确有用的状态，不要把整段聊天记录无差别塞进去。</li><li>用 Foundry 的评测与日志观察工具调用成功率、平均响应延迟、幻觉率和人工接管比例。</li><li>如果有电话、会议或设备端入口，再接 Real-Time Voice Response。</li></ol>

最小可行架构可以很朴素：用户入口接入 Foundry Agent，Agent 通过工具箱调用内部 API，通过 RAG 或 Foundry IQ 读取企业知识，通过 Memory 保存偏好和任务状态，日志进入 Azure Monitor 或同类观测系统。评测不要只看回答是否流畅，更要看工具调用是否正确、权限是否越界、失败时是否会停下来，而不是继续编造结果。

短期最适合已经在 Azure、Microsoft 365、Teams 或 Dynamics 里工作的团队试用，尤其是需要把 Agent 接进现有身份、权限和文档系统的开发者；不适合追求云中立、预算敏感、或核心数据不能进入微软托管环境的小团队。真正值得试的点不是“能不能做一个代理”，而是托管运行时、记忆和工具箱能否减少你在状态管理、权限边界和观测上的自研成本。

限制也很现实。托管运行时会带来生态绑定，模型调用、实时语音和检索都会产生持续成本；企业数据接入 Foundry IQ 前还要清理权限，否则代理可能把“用户能问到什么”和“系统能读取什么”混在一起。可复用建议是先选一个低风险流程，比如内部 FAQ 加工单查询，把工具权限设成只读，记录每次失败的原因，再决定是否扩到写入型业务操作。

关键词：Foundry、代理、语音、记忆、Azure

## 3. Harmonic 重建 Scout：Deep Agents 与 LangSmith 如何把研究助理做成可用产品

Harmonic 这篇案例的重点不在于又接入了一个大模型，而是把 Scout 从一个容易“演示成功、使用掉线”的 AI 功能，重建成更像研究助理的产品。Scout 面向的是公司、市场、投资与客户线索研究场景，用户希望它能连续查资料、筛选信号、整理结论，而不是只返回一段看似完整的摘要。Harmonic 披露的结果是，基于 Deep Agents 重构后，Scout 的用户留存率提升到原来的 4 倍，并用 LangSmith 做调试、追踪和评测。

Scout 解决的是典型 Agent 产品问题：任务链路长、工具调用多、上下文容易丢、输出质量不稳定。对用户来说，最糟糕的体验不是回答慢，而是系统在中途误判目标、引用不可靠信息，或者每次结果风格都不一样。Harmonic 的做法是把 Scout 拆成可追踪的执行流程，让 Deep Agents 负责规划、调用工具、维护任务状态，再通过 LangSmith 记录每一步输入、输出、工具结果和失败点。

它更适合已经有明确数据源和业务任务的团队，比如销售情报、市场研究、投融资分析、客户画像和竞品跟踪；不适合只想把聊天机器人包装成“智能助手”的团队。短期真正值得试的点，是把 Agent 的任务执行过程变成可观察、可回放、可评测的链路，而不是单纯更换模型。

可复用的上手路径可以拆成几步：<ol><li>先定义 Scout 这类产品的任务边界，例如公司检索、线索排序、资料摘要、证据引用。</li><li>把任务拆成规划、检索、筛选、生成、校验几个阶段，避免让模型一次性完成所有判断。</li><li>接入 Deep Agents 或类似 Agent 框架，让工具调用和状态管理显式化。</li><li>用 LangSmith 记录 trace、失败样本、用户反馈和版本差异，再围绕留存率、完成率、人工修正率做评测。</li></ol>

从数据流看，用户提出研究目标后，系统先生成任务计划，再调用外部数据源或内部数据库，随后对结果做排序、去重和摘要。最终输出不应只是结论，还要保留证据路径、来源和可复查的中间状态。这里的 LangSmith 作用很实际：当某次回答质量下降时，团队能看到是检索错了、工具返回异常、提示词漂移，还是模型在综合阶段编造了关系。

成本和部署上，这类产品通常不会便宜。长链路 Agent 会增加模型调用次数，检索和重试也会拉高延迟；如果还接入企业内部 CRM、知识库或第三方数据源，就要处理权限、脱敏、速率限制和审计问题。Deep Agents 加 LangSmith 适合快速搭建和迭代，但也会带来一定生态绑定，团队需要评估是否接受 LangChain 体系内的观测和编排方式。

风险点主要有三类：工具调用失败边界、数据权限边界和评测难度。Agent 能完成一条复杂链路，不代表每一步都可信；用户留存提升也不等于所有输出都正确。更稳妥的做法是保留人工审核入口，把高风险结论标记为待确认，并定期抽样检查事实准确率、引用覆盖率和任务完成率。

Harmonic 的经验给开发者的启发很直接：Agent 产品要先把“可用”做出来，再谈智能程度。最小可行架构并不复杂，前端收集目标，后端负责任务编排，Deep Agents 执行多步工具调用，LangSmith 做 trace、评测和回归对比。真正拉开差距的是持续记录失败样本，并把这些样本变成下一轮提示词、工具和数据源调整的依据。

关键词：Agent、Scout、留存、评测、观测

## 4. Ideogram 4 开放权重：设计图、海报和文字生成迎来可本地部署的新选择

Ideogram 在 Hugging Face 发布 Ideogram 4 开放权重版本，模型仓库名包括 ideogram-ai/ideogram-4-nf4 和 ideogram-ai/ideogram-4-fp8。这不是一次普通的“可在线试用”更新：Ideogram 4 是从零训练的 9.3B 文生图基础模型，支持 Diffusers、Safetensors，并提供 Ideogram4Pipeline。官方同时表示，模型已上线 Ideogram 各档计划和 API，开发者也可以下载权重、用自有数据微调，并在自己的硬件上运行。

它解决的核心问题很明确：设计类图像生成里最难稳定的文字、版式和颜色控制。Ideogram 4 引入结构化 JSON prompt，支持多语言文字渲染、显式 bounding-box 布局、十六进制色板控制，以及最高 2K 原生分辨率。相比只写一句自然语言提示词，JSON caption 更像把设计稿拆成元素、位置、颜色和风格说明，适合海报、社媒横幅、产品 mockup、品牌视觉草案和带字图片生成。

上手路径有两条。想快速验证效果，可以直接用 ideogram.ai 或 Hugging Face Space demo；想接入开发工作流，可以在 Hugging Face 接受模型 gate 后，通过 hf auth login 登录，再用 Diffusers 加载 nf4 版本。官方也提供 GitHub inference code，支持 CLI 推理；普通 prompt 会先经过 magic prompt LLM 扩展成结构化 JSON，默认可调用 Ideogram 托管的 magic-prompt API，读取 IDEOGRAM_API_KEY。

典型数据流是：用户输入自然语言需求，magic prompt 转换为 JSON caption，模型按元素、bbox、色板和风格生成图像，随后可接 Hive 做文本与视觉安全审核。这个流程对内容团队和独立开发者都实用，因为它把“反复改提示词”变成了更可复用的配置过程。短期来看，最适合尝试 Ideogram 4 的是需要可控文字海报、广告草图和视觉素材批量生成的小团队；不适合只想零成本商用、又没有 GPU 或 API 预算的用户。

限制也不能忽略。Hugging Face 权重是 gated access，需要共享联系信息并接受 Ideogram 4 Non-Commercial 许可；nf4 版本支持 CUDA 和 Diffusers，fp8 版本虽标注支持更多硬件但暂无 Diffusers 支持。本地跑 2K 图像仍会吃显存，安全审核还依赖 Hive key，隐私和合规边界需要自己评估。

可复用建议是：先用 API 或 demo 建立 20 到 50 条高质量 prompt 样例，再沉淀成 JSON 模板；涉及品牌色、固定版式和文字位置的任务，优先使用色板与 bbox，而不是只靠自然语言描述。等效果稳定后，再评估是否迁移到本地权重或微调流程。

关键词：文生图、开源权重、设计图、多模态

## 5. Microsoft 开源 markitdown：把 PDF、Office 文档转成可进入 AI 工作流的 Markdown

Microsoft 开源的 markitdown 解决的是一个很具体但高频的问题：把 PDF、Word、PowerPoint、Excel、图片说明、网页等非结构化或半结构化文件，转换成更适合 AI 处理的 Markdown。对做 RAG、知识库、文档归档和开发者资料整理的人来说，Markdown 的好处很直接：文本干净、层级清楚、方便进入 Git、向量数据库、LLM 上下文或自动化流水线。

它短期更适合需要批量整理资料的小团队、技术编辑、AI 应用开发者和内部知识库维护者；不太适合对版式还原、复杂表格精度、法律级文档留痕有强要求的场景。markitdown 的价值不在于“漂亮排版”，而在于把原始文件变成机器更容易读、开发者更容易接入的中间格式。

典型数据流可以很简单：用户上传或收集文件，markitdown 负责抽取文本和基础结构，输出 Markdown；随后再进入清洗、切块、向量化、索引和问答系统。比如一个团队要把产品手册、历史 PPT、FAQ 和会议资料接入检索增强生成系统，先统一转成 Markdown，再交给 LangChain、LlamaIndex 或自研脚本处理，会比直接对各种二进制格式做解析更容易维护。

上手路径也偏开发者友好。项目托管在 GitHub，使用方式以 Python 包和命令行工具为主，常见流程是安装依赖、在本地或服务器脚本中调用转换命令，再把输出文件写入指定目录。它不要求一开始就搭建完整服务，个人电脑、CI 任务、批处理脚本都能跑。成本主要来自运行环境、文件存储和后续模型调用；markitdown 本身是开源工具，真正花钱的通常是 OCR、LLM 解析、向量数据库或云端算力。

风险也要提前说清楚。PDF 扫描件可能需要额外 OCR，复杂表格和多栏版式容易丢结构，包含图片、公式、脚注的文档也可能需要人工复核。企业内部资料还涉及权限边界，不能因为转换成 Markdown 就默认可以进入公共模型或第三方 API。建议把 markitdown 放在“预处理层”，而不是直接当成最终知识库质量保障工具。

可复用的做法是建立一套轻量检查清单：保留原文件路径和版本号；记录转换时间和工具版本；抽样检查标题、表格、列表和页眉页脚；对失败文件单独归档；在进入 RAG 前再做去重、分块和敏感信息过滤。对于开发者来说，markitdown 真正值得试的点，是把杂乱办公文档纳入可编程工作流，让文档转换从一次性手工活变成可重复、可审计的流水线。

关键词：文档、开源、RAG、工具


原创文章，来源于 AI 技术趋势自动整理。发布前请在腾讯云开发者社区编辑器中复核标题、封面、标签和外链。

6/4/2026 AI速递 | Gemini、Ideogram多模态工作流

原创文章，来源于 AI 技术趋势自动整理。发布前请在腾讯云开发者社区编辑器中复核标题、封面、标签和外链。 6/4/2026 AI速递 | Gemini、Ideogram多模态工作流 Google I/O 2026 的核心变化不是再发布一个聊天入口，而是把 Gemini 从“问答工具”推向能在后台持续执行任务的代理系统。Sundar Pichai 在开场演讲中

云计算

人工智能

开发工具

Google Gemini升级为后台代理系统，支持多任务处理；Microsoft Foundry优化AI代理开发流程；Harmonic Scout提升研究助理功能；Ideogram4开放本地部署权重，增强设计图生成；Microsoft开源markitdown工具，简化文档转换流程。这些技术更新聚焦AI工作流优化，助力开发者提升效率。

命令行工具

聊天机器人

结构化数据

向量数据库

文件存储

数据流

服务器

虚拟机

数据库

Python

Spark 

JSON

Hive

4核4G3M云服务器 新用户低至38元/年！

2026年中大促 | AI 领航 智绘未来

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Google Gemini升级为后台代理系统，支持多任务处理；Microsoft Foundry优化AI代理开发流程；Harmonic Scout提升研究助理功能；Ideogram4开放本地部署权重，增强设计图生成；Microsoft开源markitdown工具，简化文档转换流程。这些技术更新聚焦AI工作流优化，助力开...

6/4/2026 AI速递 | Gemini、Ideogram多模态工作流-腾讯云开发者社区-腾讯云

6/4/2026 AI速递 | Gemini、Ideogram多模态工作流

6/4/2026 AI速递 | Gemini、Ideogram多模态工作流

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐