首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 基于 .NET 的 AI 流式输出实现AgentFramework+SignalR

    基于.NET的AI流式输出实现技术栈选择AgentFramework:用于构建AI代理的框架,支持模块化设计和任务编排。 SignalR:实现实时双向通信,支持WebSocket等协议,适合流式数据传输。 :前端技术:Vue3前端框架IDS4单点登录系统一库多租户解决方案多级缓存机制CAP事件集成SignalR实时通信领域驱动设计AI智能体框架RAGAI检索增强RabbitMQ消息队列项目地址:github 代理实现创建支持流式输出AI代理:展开代码语言:C#AI代码解释publicclassStreamingAiAgent:IAiAgent{publicIAsyncEnumerable<string>GetStreamingResponse 处理能力和SignalR的实时通信特性,可以构建高效的流式AI响应系统。

    19010编辑于 2026-01-21
  • 来自专栏程序员分享

    langgraph流式输出特性测试

    langgraph在astream调用模式下, 当图中包含子图节点时, 输出捕获级别会因设置产生不一样的影响本次记录个人基于 langgraph v1.1.2 的测试结果 准备工作 导入包如下:python 节点内部调用 LLM Client 直接流式获取模型回答构建如下的图, node3 为使用 LLM client 而非CompiledGraph获取回答的节点python 体验AI代码助手 代码解读复制代码 , 可以看到正常捕获到了单节点内部的流式输出有一个messages事件, 包含完整消息, 在节点return前后被捕获(似乎仅适用于LLM Client流式调用的情况, 使用CompiledGraph则不会包含 'ns': (), 'data': {'node4': {'log_info': {'node4': 'node4 执行日志'}}}}子图调用astream产生了四个"chunk", 但是它们并非模型流式输出的结果 , 'langgraph_checkpoint_ns': 'node2:f236c5a1-e972-bf00-0f4e-9300ead1eb69'})}可以观察到即使内部使用ainvoke, 父图期望流式获取大模型输出

    11710编辑于 2026-04-05
  • 来自专栏h5

    Flutter3.41实战AI:从零到一构建app版流式ai系统

    基于flutter3.41+dart3+getx+dio+flutter_markdown集成deepseek智能ai流式输出开发实战。 null : const RouteSettings(name: '/login'); }}flutter3对接deepseek api实现流式输出// 调用deepseek接口final response deepseek-reasoner' : 'deepseek-chat', // deepseek-chat对话模型 deepseek-reasoner推理模型 'stream': true, // 流式输出 completion 的最大 token 数(默认使用 4096) 'temperature': 0.4, // 严谨采样 越低越严谨(默认1) });往期推荐Electron41 + Vite8打造流式输出客户端 AI助手Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI智能助手2026版開工新作uni-app+mphtml结合deepseek跨端ai应用vite7.2-deepseek流式

    10800编辑于 2026-04-08
  • 零基础学AI大模型之Stream流式输出实战

    AI大模型之ChatModel聊天模型与ChatPromptTemplate实战 12、零基础学AI大模型之LangChain链 零基础学AI大模型之Stream流式输出实战 前情摘要 在之前的LangChain 本文将聚焦LLM的Stream流式输出,从核心原理讲起,通过“故事小助手”“科普助手”两个实战案例,带你掌握从基础调用到LCEL表达式的流式落地,最后分析流式输出的优劣势与实战注意事项。 1. 为什么需要流式输出?先搞懂“一次性输出”的痛点 在学习流式输出前,我们先明确:流式输出不是“让模型生成更快”,而是“让用户感知更快”。 流式输出核心原理:什么是Stream? 流式输出的优势与限制:实战前必看 流式输出虽能提升体验,但并非适用于所有场景。我们需要客观看待其优劣势,避免盲目使用。

    51910编辑于 2025-12-22
  • 来自专栏h5

    基于flutter3+deepseek+dio跨平台ai流式模板

    2025实战跨平台ai对话,原创Flutter3.27.1+Dart3.6+Getx+Dio接入DeepSeek搭建流式ai输出模板。 behavior: CustomScrollBehavior().copyWith(scrollbars: false), // GetBuilder响应流式输出 null : const RouteSettings(name: '/login'); }}flutter3解析markdownimport 'package:flutter/material.dart 流式对话:https://cloud.tencent.com/developer/article/2518214electron35+deepseek桌面端ai模板:https://cloud.tencent.com /developer/article/2514843vue3.5+deepseek网页版ai流式对话:https://cloud.tencent.com/developer/article/2508594flutter3.27

    81421编辑于 2025-05-26
  • 来自专栏码匠的流水账

    langchain4j+springboot流式输出

    序本文主要研究一下langchain4j+springboot如何实现流式输出步骤pom.xml <dependency> <groupId>dev.langchain4j }); }); }StreamingChatLanguageModel提供了StreamingChatResponseHandler用于处理片段结果,结合Flux可以实现流式输出源码

    2.3K10编辑于 2025-02-24
  • 来自专栏鱼皮客栈

    聊聊SpringAI流式输出的底层实现?

    在 Spring AI 中,流式输出(Streaming Output)是一种逐步返回 AI 模型生成结果的技术,允许服务器将响应内容分批次实时传输给客户端,而不是等待全部内容生成完毕后再一次性返回。 技术实现 在 Spring AI流式输出的实现有以下两种方式: 通过 ChatModel 实现流式输出。 通过 ChatClient 实现流式输出。 ChatModel 流式输出 Spring AI 中的流式输出实现非常简单,使用 ChatModel 中的 stream 即可实现: @RequestMapping(value = "/streamChat Spring AI 流式输出 说完了前置知识,咱们回到主题:Spring AI 是如何实现流式输出的? 生产级别使用的 Reactor 基本都是主从 Reactor 模型,它的执行流程如下: 小结 Spring AI 中的流式输出有两种实现,而通过查看这两种流式输出的实现源码可知,Spring AI 中的流式输出是通过

    1.4K00编辑于 2025-04-29
  • 来自专栏王磊的博客

    聊聊SpringAI流式输出的底层实现?

    在 Spring AI 中,流式输出(Streaming Output)是一种逐步返回 AI 模型生成结果的技术,允许服务器将响应内容分批次实时传输给客户端,而不是等待全部内容生成完毕后再一次性返回。 技术实现 在 Spring AI流式输出的实现有以下两种方式: 通过 ChatModel 实现流式输出。 通过 ChatClient 实现流式输出。 ChatModel 流式输出 Spring AI 中的流式输出实现非常简单,使用 ChatModel 中的 stream 即可实现: @RequestMapping(value = "/streamChat Spring AI 流式输出 说完了前置知识,咱们回到主题:Spring AI 是如何实现流式输出的? 生产级别使用的 Reactor 基本都是主从 Reactor 模型,它的执行流程如下: 小结 Spring AI 中的流式输出有两种实现,而通过查看这两种流式输出的实现源码可知,Spring AI 中的流式输出是通过

    1.2K10编辑于 2025-04-24
  • 来自专栏实用技术

    使用 Python 的 requests 库实现流式输出

    使用 Python 的 requests 库实现流式输出import requestsurl = 'https://api.example.com/stream' # 替换为实际的API URLwith

    43910编辑于 2025-07-30
  • 来自专栏h5

    基于Flutter3.32+DeepSeek电脑端AI流式对话程序

    调用deepseek流式输出通过dio插件来请求deepseek api接口,实现流式对话功能。 editorValue}], 'model': 'deepseek-chat', // deepseek-chat对话模型 deepseek-reasoner推理模型 'stream': true, // 流式输出 流式对话:https://cloud.tencent.com/developer/article/2518214electron35+deepseek桌面端ai模板:https://cloud.tencent.com /developer/article/2514843vue3.5+deepseek网页版ai流式对话:https://cloud.tencent.com/developer/article/2508594DeepSeek-Vue3 基于vite6+vant4仿deepseek/Kimi流式AI聊天小助手flutter3.27+getx仿抖音app短视频商城:https://cloud.tencent.com/developer/article

    53131编辑于 2025-06-07
  • 来自专栏h5

    自研新版Flutter3.32仿微信app聊天|朋友圈模板

    0.15.0存储组件:get_storage^2.1.1下拉刷新:easy_refresh^3.4.0toast提示:toast^0.3.0网址预览组件:url_launcher^6.3.1项目框架结构flutter3 Alignment.bottomRight, colors: [ Color(0xFF0091EA), Color(0xFF07C160) ], ) ), ))flutter3 case 2: print('扫一扫'); break; case 3: print('收付款'); break; } },)flutter3 } voiceType = 0; }); }, ),)基于uni-app+vue3实战短视频+聊天+直播app商城基于uniapp+deepseek+vue3跨平台ai 流式对话electron35+deepseek桌面端ai模板vue3.5+deepseek网页版ai流式对话flutter3.27+getx仿抖音app短视频商城Electron32桌面端os系统electron31

    32920编辑于 2025-07-12
  • 来自专栏每月技术成长

    大模型流式输出渲染导致的性能问题

    Deepseek R1 32b(可惜的是其只提供 3 小时的动态域名,过期后需要重新生成,而绑定自定义域名的方式免不了繁琐的备案机制)发现问题在使用模板生成的网站中进行对话时,熟悉的风扇声又响起了……察觉到只有当流式生成 token 时,浏览器的 cpu 占用才会明显上升,也可以明显发现启用流式传输时,网络流量大大增加了,因此直接查看调用 API 以及负责渲染输出的模块。 其具体代码平平无奇,看不出什么问题,但联想到流式传输时,有大量的 token 陆续到达,而代码里是收到一个 token 就直接进行渲染,这种简单的文字渲染并不会使用到 GPU,短时间多次渲染可能对于 cpu 来说也相当于较大的负载了,毕竟此时渲染大概率是没用上缓存的……总结未经优化直接在每次收到 token 后直接渲染,导致了 cpu 计算负担的增加,因而出现了一进行流式输出,笔者的老旧笔电直接风扇起飞的现象

    60900编辑于 2025-04-14
  • 来自专栏软件测试学习

    AI用例生成增加流式输出、Markdown文档上传、模型配置检测、AI评审开关...

    Release清单 大家好,TestHub这次带来了重磅更新-AI 用例生成模块增加流式输出! 下面是这次具体更新明细: 1.AI 用例生成配置优化: 用例生成模块增加模型配置和提示词检测机制&引导提示 提示词配置改到配置中心-AI 用例生成配置下 增加生成行为配置,控制流式输出AI 评审开关 2、AI用例生成模块深度优化: 用例生成增加Markdown格式需求文档上传 前台生成用例页面,支持用户自由选择“流式模式”和“完整模式” 深度优化生成逻辑,增加流式输出 优化默认编写提示词、评审提示词 3.增加生成行为配置,控制流式输出AI 评审开关 默认输出模式 Ai用例生成配置下,这次增加了一个生成行为配置。主要用于配置默认输出模式:实时流式输出和完整输出。 完整输出是我们上一版本的模式,很多小伙伴反馈在这个模式下,等待的时间比较长,体验不友好,所以这次特地加了流式输出。关于流式输出的功能,下面会做重点介绍。

    20410编辑于 2026-03-22
  • 来自专栏h5

    Electron41 + Vite8打造流式输出客户端AI助手

    从零开始:用electron41+vite8.0+Vue 3 + DeepSeek搭建一个支持流式输出AI 对话界面系统。 功能支持性Electron41+Vite8接入DeepSeek流式打字输出,丝滑流畅内置light+dark主题支持深度思考R1模式支持Latex数学公式支持Mermaid图表渲染(拖拽、缩放、下载)支持代码块

</template>Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI 智能助手2026版開工新作uni-app+mphtml结合deepseek跨端ai应用vite7.2-deepseek流式ai对话|vue3.5+vant4+katex+mermaid智能ai打字会话最新实战 Vite7.3+Tauri2.10深度集成DeepSeek桌面端AI智能助手Electron-DeepSeek-Chat流式AI系统|electron39+vue3+deepseek手搓aielectron38

25910编辑于 2026-03-27
  • 来自专栏h5

    原创自研Flutter3.41+Dio+WindowManager打造桌面版AI问答系统

    基于flutter3.41.5+get+dio+window_manager对接deepseek-chat实战客户端ai流式会话系统。 'deepseek-reasoner' : 'deepseek-chat', 'stream': true, // 流式输出 'max_tokens': 8192, // 限制一次请求中模型生成 systemTray.popUpContextMenu() : await windowManager.show(); } });}推荐热文Flutter3.41实战AI:从零到一构建app版流式 ai系统Electron41 + Vite8打造流式输出客户端AI助手Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI智能助手2026版開工新作uni-app+mphtml结合deepseek 跨端ai应用vite7.2-deepseek流式ai对话|vue3.5+vant4+katex+mermaid智能ai打字会话最新实战Vite7.3+Tauri2.10深度集成DeepSeek桌面端AI

    12100编辑于 2026-04-15
  • 来自专栏h5

    最新原创flutter3.27+bitsdojo_window客户端聊天Exe

    super.key}); @override Widget build(BuildContext context) { return GetMaterialApp( title: 'FLUTTER3 onPointerMove: (e) { setState(() { sliderDraging = true; }); }, ), ),)flutter3 聊天模块自研新版Flutter3.32仿微信app聊天|朋友圈模板基于uni-app+vue3实战短视频+聊天+直播app商城基于uniapp+deepseek+vue3跨平台ai流式对话electron35 +deepseek桌面端ai模板vue3.5+deepseek网页版ai流式对话flutter3.27+getx仿抖音app短视频商城Electron32桌面端os系统electron31+vue3客户端聊天

    44420编辑于 2025-07-22
  • 来自专栏h5

    最新跨平台flutter3.38+dart3.10深度集成短视频+直播+聊天

    platform; return platform == TargetPlatform.windows; } return GetMaterialApp( title: 'Flutter3 路由页面 getPages: routePages, // 初始化弹窗key navigatorKey: MyDialog.navigatorKey, ); }}flutter3 ) { super.build(context); return widget.child; } @override bool get wantKeepAlive => true;}flutter3 bitsdojo_window客户端聊天Exe自研新版Flutter3.32仿微信app聊天|朋友圈模板基于uni-app+vue3实战短视频+聊天+直播app商城基于uniapp+deepseek+vue3跨平台ai 流式对话electron35+deepseek桌面端ai模板vue3.5+deepseek网页版ai流式对话

    34621编辑于 2025-12-08
  • 来自专栏陶士涵的菜地

    HTTP方式请求并处理GPT聊天补全接口的流式响应输出

    python使用HTTP方式,调用OpenAI的聊天补全的流式响应接口,并处理数据 目的是,如果需要对接fastGPT等其他第三方,需要额外增加参数,或者其他开发语言调用时,不能使用官方的类库。

    2K10编辑于 2024-01-03
  • 来自专栏灵墨AI探索室

    深入探索Spring AI:源码分析流式回答

    在上一章节中,我们深入分析了Spring AI的阻塞式请求与响应机制,并探讨了如何增强其记忆能力。今天,我们将重点讲解流式响应的概念与实现。 毕竟,AI流式回答功能与其交互体验密切相关,是提升用户满意度的重要组成部分。基本用法基本用法非常简单,只需增加一个 stream 方法即可实现所需功能。 总结在当今的数字时代,流式响应机制不仅提升了系统的性能,还在用户体验上扮演了关键角色。 我们终于全面讲解了Spring AI的基本操作,包括阻塞式回答、流式回答以及记忆增强功能。这些内容为我们深入理解其工作机制奠定了基础。 这将帮助我们更好地理解Spring AI的内部运作原理,并为进一步的优化和定制化提供指导。我是努力的小雨,一名 Java 服务端码农,潜心研究着 AI 技术的奥秘。

    1.3K40编辑于 2024-09-30
  • 来自专栏小孟开发笔记

    Uniapp仿ChatGPT Stream流式输出(非Websocket)-uniapp+see接收推送示例

    前言# 最近写一个chagpt小程序,流式输出可以使用websocket也可以使用stream来实现,这里就不折腾websocket的了,我发现uniapp实现流式输出的方式挺多的,主要是有些小程序还不兼容 一个EventSource会对http服务开启一个持久化链接,它发送的事件格式是‘text/stream’,开启EventSource事件后,它会一直保持开启状态,直到被要求关闭 后端php,原生实现个流式输出即可 代表本次循环不进行输出 * @param $millisecond int 数据分发间隔,单位:毫秒 * @return string * @other void */ console.log(xhr.responseText) } } xhr.send() } EventSource方式# uniapp中也可以直接使用EventSource来实现流式输出 text); }) 这样就可以在小程序中把Arraybuffer转换为字符串了 还有许多方式,比如调用第三方库来代替TextDecoder,我就不去尝试了 注意: 1.enableChunked: true流式响应开关

    6.3K21编辑于 2024-03-26
  • 第 2 页第 3 页第 4 页第 5 页第 6 页第 7 页第 8 页第 9 页第 10 页第 11 页
    点击加载更多
    领券