- 综合排序
- 最热优先
- 最新优先
开源实时数字人---OpenTalking
最近我们把自己做实时数字人过程中的一套工程框架整理了一下，开源出来了，项目叫 OpenTalking。 简单来说，我们希望它能把 LLM、TTS、STT、WebRTC、字幕事件、角色音色、用户打断、前端交互和数字人视频驱动模型这些东西串起来，让一个数字人真正可以进行实时对话。 比如你刚开始只是想看看实时数字人产品的完整流程，那么可以直接用 Mock 模式。 我觉得这也是现在实时数字人领域很重要的一个趋势：模型本身当然重要，但系统工程同样重要。 我们把它开源出来，一方面是希望给做数字人的开发者一个可以直接上手的工程起点，另一方面也希望和更多对实时数字人感兴趣的人一起讨论：数字人到底应该怎么从一个演示视频，走向一个真正可用的交互产品。
11310编辑于 2026-05-21- 来自专栏量子位
人人都能有数字替身：量子动力FACEGOOD发布AI交互实时数字人
转载自量子动力 量子位 编辑 | 公众号 QbitAI 今日，量子动力 FACEGOOD 发布了一款基于AI交互全实时数字人，次世代人机交互恐怕越来越近了。 数字技术的出现催生出数字人这一崭新的视觉元素。 与真人相比，数字人物作为对人类自身透视的客体，具有其独特的传播优势。要使数字人物更好地被受众所接受，其身上所负载的文化内涵也是不容忽视的。 但随着人工智能等相关技术的不断进步，数字人物技术也得到不断的发展。 数字人物的运动机理与真实人物的生物解剖学是不相符的。他的动作是由骨架驱动的，而不是肌肉组织驱动。 这要求工程师要了解掌握生物解剖学和雕塑艺术等相关知识，并通过平时的大量观察和生活积累，练就了较高的把握能力后，才有可能塑造出一个生动逼真具有生命质感的数字人。
66730发布于 2019-04-24 - 来自专栏MixLab科技+设计实验室
数字人1024
数字人爱因斯坦 Digital Einstein UNEEQ 数字人爱因斯坦是体验式人工智能的一个例子，甚至是下一代人机交互。利用数字人实现个性化互动体验，为用户提供有意义、富有情感的互动。 Digital Einstein将发现问题里的知识并使用WolframAlpha的数据库进行实时回复。 自主动画，能够对外部刺激自主反馈，包括：超现实CGI、表情渲染、注视方向、合成语音、实时手势、人物性格。 UNEEQ对比了三种互动方式：聊天机器人、数字人、人类 那么，数字人如何帮助您提供有价值的个性化体验呢？ Alethea概括了几种：作为元宇宙的NPC、实时聊天机器人应用、虚拟角色商城等等
1.1K20发布于 2021-11-08 - 来自专栏MixLab科技+设计实验室
数字人全集
请查阅 Mixlab·社群数字人讨论合辑 数字人·专题分享合辑目录 #01 数字人驱动方式 离线式驱动 实时驱动 跨平台数字人形象统一接入工具 #02 数字人虚拟偶像制作 虚拟偶像创作与运营指南 虚拟形象制作开发工具 #03 数字人实业应用场景 数字人 & 社交 数字人 & 文娱产业 数字人 & 情感陪伴 数字人 & 工业产品与场景 #04 数字人发展趋势展望 发展路径维度分析 数字人 & 精神外骨骼 数字人 & 精神陪伴 #01 数字人驱动方式 1.1 离线式驱动 如果你拥有了自己的数字人，会将如何使用ta？ # vonage 专业文本转语音工具 # Synthesia 运用TTS + first order motion 的数字人视频生成工具 1.2 实时驱动 上述案例多用于“离线式”的数字人应用场景 如果需要与数字人进行实时的交流沟通，有项目采用的是 ASR+TTS+Audio2face 方案。
3.8K52编辑于 2022-04-16 - 来自专栏HyperAI超神经
在线教程丨刘强东数字人首秀交易额破5千万！用GeneFace++ 生成实时说话数字人
近日，京东创始人刘强东化身「采销东哥 AI 数字人」，在京东家电家居和超市的采销直播间开启了自己的直播首秀。 IDC 曾在《中国 AI 数字人市场现状与机会分析 2022 》中表明，预计到 2026 年中国 AI 数字人市场规模将达到 102.4 亿元。 不得不说，AI 数字人可复制、成本低、还能 24 小时不间断工作，将其应用在自媒体运营、短视频带货、数字人播报等场景，协助人类完成多种任务，或许将会成为未来的一大趋势。 其中，GeneFace++ 作为一种通用且稳定的实时音频驱动 3D 说话人脸生成技术，通过改进唇形同步、视频质量和系统效率，首个实现了实时说话人的生成。 然而，创造一个逼真的唇音同步数字人并非轻松之事。
51810编辑于 2024-04-26 CANN赋能AIGC“数字人”革命：实时视频换脸与表情驱动实战
这里写目录标题 引言 一、CANN在实时数字人应用中的技术价值 二、实时数字人系统架构设计 核心模块功能说明： 三、CANN实时数字人核心代码实现 3.1 实时视频流处理框架 3.2 CANN优化人脸检测实现 摘要：数字人（Digital Human）作为AIGC领域最具商业价值的应用之一，对模型推理的实时性、保真度提出了极高要求。 文章包含完整的模型转换、实时视频流处理代码及性能对比数据，揭秘CANN如何让AIGC数字人“活”起来。 cann组织链接 ops-nn仓库链接 一、CANN在实时数字人应用中的技术价值 数字人技术的核心在于“实时”与“高保真”的平衡。 未来，随着CANN对Transformer架构的进一步优化，实时数字人应用将实现更复杂的情感表达和语义交互，为AIGC开启全新的应用场景。
14110编辑于 2026-05-06- 来自专栏DevOps
AI数字人：AI数字人制作初探及相关开源简介
广义上讲可以说是计算机模拟出的具有人的形态的虚拟人都叫做数字人，在平常的观感上，数字人是整合了人物形象模拟、人物声音克隆、自然语言处理、知识图谱解析等众多世界领先的人工智能技术的可视化数字虚拟人。 数字人的本体存在于计算设备中（比如电脑、手机）中，通过显示设备呈现出来，让人类能通过眼睛看见。 它具备人类的外观和行为模式，数字人具有人类身体的外观形体结构，表现出来的行为模式是与人类相仿的，数字人的影像通常是呈现出某种人类的活动。 下面收集了几个开源的数字人项目，整理出来了，大家一起学习，希望对大家有所帮助。 而想要达到实时互动的效果，比如视频聊天机器人，需要生成计算人物表情甚至动作，延迟是少不了，而且现有技术条件下，需要消耗巨大的算力，一般的公司或者个人无法承担。除非有牛X的创新的技术出现。
1.5K10编辑于 2024-03-29 - 来自专栏翩翩白衣少年
Soul 开源实时数字人「性能怪兽」！
数字人这个赛道，这两年卷得飞起。 从最初的静态虚拟主播，到后来的 AI 驱动口型同步，再到如今的全实时流式生成，技术迭代的速度让人眼花缭乱。但说实话，开源领域真正能落地的方案，一直不多。 为什么？ 想要一个高质量的实时数字人，要么烧钱租云端算力，要么上专业显卡。对于个人开发者和小团队来说，这门槛实在有点高。更别提那些动辄几十亿参数的大模型，光是推理延迟就够喝一壶的。 直接把数字人门槛打下来了，是一款个人开发者和小团队也能玩得起的工业级的实时数字人模型。 项目介绍 SoulX-FlashHead 是 Soul AI Lab 团队开源的一个实时流式数字人生成框架。 它主打一个核心理念：让工业级实时数字人技术真正普惠。 这个项目有多强？ 一台机器可以同时服务 3 个用户的实时数字人交互。这对于想要搭建数字人服务的团队来说，意味着更高的资源利用率和更低的运营成本。 4、全开源 代码、模型权重、文档，全部开放。
1K10编辑于 2026-03-16 - 来自专栏RTSP/RTMP直播相关
基于RTMP的智慧数字人|AI数字人传输技术方案探讨
技术背景 随着智慧数字人、AI数字人的兴起，越来越多的公司着手构建全息、真实感数字角色等技术合成的数字仿真人虚拟形象，通过“虚拟形象+语音交互（T-T-S、ASR）+自然语言理解（NLU）+深度学习” 一个有“温度”的智慧数字人，有多个维度组成，如图像识别、语音识别、语义理解等，本文主要阐述的是如何把这样一个智慧数字人，通过编码传输，以更低的延迟和好的体验，呈现给用户。 技术实现 本文以Windows平台为例，从技术角度探讨智慧数字人的实时编码传输。 先上图： Unity推送.png 左侧是Unity采集、获取video Texture和AudioClip数据，编码打包后，然后通过RTMP推送到服务端，右下侧实时拉取RTMP流数据播放，整体延迟在毫秒级 event_id, event_log); } 总结 以上是大概的流程，通过采集Unity的音视频数据，编码打包传输，发送到RTMP服务端，客户端直接拉取RTMP流数据，延迟在毫秒级，用户体验良好，在智慧数字人等交互场景
64740编辑于 2022-03-26 - 来自专栏AI技术应用
AI数字人的测试
AI数字人的测试是一个复杂的过程，需要综合考虑技术、用户体验和安全性等多个方面。以下是基于最新搜索结果的AI数字人测试方法、标准和框架。 测试方法功能测试：确保AI数字人能够执行其设计的所有功能，如自然语言处理、情感识别、动作生成等。可以通过预定义的测试用例来验证这些功能。性能测试：评估AI数字人的响应速度、处理能力和资源消耗。 安全性和隐私测试：检查AI数字人是否符合相关的安全和隐私标准，如数据加密、用户认证和访问控制。测试标准自然语言处理的准确性：AI数字人需要能够准确理解用户的语言，并提供相关的回答。 情感识别的准确性：如果AI数字人需要处理情感信息，需要测试其情感识别的准确性。可以使用情感分析工具来评估其性能。动作和表情的自然度：AI数字人的动作和表情需要自然流畅，以增强用户的沉浸感。 NVIDIA ACE平台：NVIDIA的ACE平台提供了一套工具和服务，用于创建和部署交互式数字头像。它结合了语音识别、自然语言理解和实时渲染等关键技术，支持在云原生架构上进行可扩展的部署。
59510编辑于 2025-03-21 - 来自专栏MixLab科技+设计实验室
数字人DAO - 加入方式
研究型社交： #以DAO的方式开展数字人的共创小组 在发起的时候，想着本活动全靠自驱力，也想看看到底有多少人能坚持下来，发现大家的参与度还是很高的。 1 共创主题： 待定 2 创作： 每周六在discord提交一个内容，围绕数字人（关联性需50%以上），获得+1积分。 内容形式不限，需要有知识密度，举个例子： 一段结合案例的思考 # 一段代码-实验 形象设计稿 人物设定的思考 实操数字人的教程 实操数字人的经验 数字人论文解读 # 数字人案例解读 数字人相关的分享-语音
61230编辑于 2022-05-25 - 来自专栏数据库与编程
自制数字人播报视频
本教程带您一下自制属于你自己的数字人播报视频，即通过人脸图像和一段语音音频生成照片说话视频。 bash scripts/download_models.sh 4、生成数字人播报视频 准备照片和音频文件，照片必须要有清楚的头像，音频随便找一段讲话的音频即可： 照片：examples/source_image /face.png 音频文件：examples/driven_audio/jack.mp3 # 此处指定数字人图片为face.png 音频文件为 jack.mp3 img = 'examples/source_image
73510编辑于 2024-01-22 - 来自专栏宜达数字
数字人内部分享
数字人：其实就是高精度3D人物建模。 窗口 插件 image.png 帮助 图片 散开的菜单栏 工具栏 如何制作自己的数字人
67110编辑于 2022-12-10 多端智能虚拟数字人
从 “单一端侧” 到 “多端适配”借助 AI 技术的跨平台兼容性，ChatGPT 驱动的虚拟数字人可实现 “一次开发，多端部署”：在手机 APP 中，它是陪伴用户的智能伙伴；在直播平台，它是能与观众实时互动的虚拟主播 形象落地依赖计算机视觉与动作捕捉技术：通过 3D 建模构建数字人骨骼与外观，借助 AI 动作驱动技术（如基于视频的动作迁移、实时表情捕捉），让数字人的肢体动作、面部表情与语音内容同步 —— 例如，ChatGPT “声线人设”（如甜美、沉稳、活泼），并通过 AI 调优让语音包含语气、停顿等细节，避免机械音；实时性优化：在直播、实时客服等场景中，需将 ASR→ChatGPT 推理→TTS 的全流程延迟控制在数百毫秒内 实战中，可通过 “提示词工程”（Prompt Engineering）设定数字人的 “身份边界”，例如在提示词中明确 “你是某品牌的虚拟客服，仅回答与该品牌产品相关的问题，不讨论无关话题”，同时通过实时审核机制过滤违规回复 个人消费：个性化的 “智能伙伴”C 端场景中，虚拟数字人正成为用户的 “个性化助手”：教育领域，虚拟外教可根据学生英语水平调整对话难度，实时纠正发音；娱乐领域，虚拟偶像能与粉丝实时互动，甚至根据粉丝建议调整直播内容
40310编辑于 2025-10-01- 来自专栏科技云报道
大模型加持后，数字人“更像人”了吗？
面向C端，数字人帮助用户生产内容和辅助工作，如：数字人练口语、和数字人玩游戏等；面向B端，数字人是企业的“工具人”，应用于金融、影视、电商、直播等行业，提高行业生产和运营效率。 然而，随着大模型的出现，数字人的发展似乎正在迎来新的机遇。 大模型赋能数字人 对于产业界而言，数字人本身并不新鲜。 让数字人更像“人” 大模型的出现让数字人“脱胎换骨”，成为如今最火的创业赛道之一。 对此，也有专家认为，需要进一步提升技术创新能力和用户体验感，在保证数字人外在拟人效果的同时，优化用户交互体验，注重实时渲染、光学捕捉、三维重建、智能人机交互等新兴技术与自然语言处理、语音识别、计算机视觉 对于同处一片红海中的数字人公司来说，要思考的或许不是如何“卷低价”，而是通过技术的不断进步，让数字人“更像人”，提高行业的整体水位，让数字人“活下去”，创造更多的价值。
43510编辑于 2024-04-18 - 来自专栏音视频咖
可以对话的专属数字人，AIGC数字人解决方案升级发布
准备简单素材，用户就能轻松定制自己的AI数字人，并通过接入LLM大模型，与之进行超低延时的实时音视频交流。 实现简单，3步打造自己的专属数字人 腾讯云音视频AIGC数字人解决方案包含从输入、处理再到输出的全链路能力，为客户提供高效、快捷的一站式服务，3步就能快速接入，定制出自己的AIGC数字人。 声音、形象、人设随心定制，打造百变数字人 腾讯云音视频AIGC数字人解决方案支持客户自由配置数字人的声音、形象、性格等多种参数，轻松定制百变多样的AI数字人。 腾讯云提供AI实时变声和定制化声音克隆功能，为企业提供上千款不同音色，轻松选择适配业务场景及人设属性，让声音更具真实感。100ms内的超低延迟，可快速响应用户，真正做到实时互动，让用户参与更加沉浸。 ，实现用户通过语音与AIGC数字人实时互动，为用户带来灵活、自然、流畅的对话体验。
2.4K10编辑于 2024-01-20 - 来自专栏孟永辉
数字人，元宇宙的入口
如果一定要给元宇宙时代找到一个普遍性征的话，数字人，无疑是最贴切的那一个。可以说，数字人是元宇宙时代不可或缺的存在，无论是从虚拟世界到现实世界，还是从现实世界到虚拟世界，我们都需要数字人作为切入点。 正是因为如此，抓住了数字人，等于是抓住了元宇宙的“七寸”，抓住了元宇宙最关键的部分。 这是现在如此多的人将关注的焦点聚焦在数字人的身上的根本原因。 数字人，元宇宙的“基本元素” 元宇宙是一个牵扯到诸多流程和环节的存在，人，仅仅只是元宇宙世界里的一个最为基本的元素。除了人之外，真正达成元宇宙，还需要其他一系列的数字化。 乍一看，人的数字化无足轻重，甚至可以说是顺理成章的，将它划归到元宇宙的范畴并不恰当。但是，我们需要明白的是，正是有了人的数字化作为启蒙和开端，我们才能真正开启其他元素数字化的过程。 我们现在所看到的数字人，仅仅只是基于人的数字化所塑造出来的数字画像而已，这是一个相当基础，相当原始的存在。只有给这个数字画像加入智能感知，神经系统，才能让数字人更加丰富和立体，更加真实和生命力。
47930编辑于 2022-03-28 - 来自专栏AI技术应用
AI数字人的开发流程
以下是AI数字人的开发流程。1. 明确目的开发AI数字人前，需明确其用途，如虚拟导游、品牌大使、教师或陪伴者等。这将决定后续的技术选型、设计元素和基础设施。2. 选择合适的技术AI数字人需融合多种技术，包括机器学习、自然语言处理、渲染引擎、语音合成、计算机视觉和动作捕捉。根据数字人的功能需求，选择相应的AI模型、软件和硬件。 例如，若数字人无需“看到”观众，如网站上的品牌助手，可省略计算机视觉。3. 设计与开发视觉设计：从初步草图到细节如眼睛颜色、面部表情和手势，全方位塑造数字人的外观。 语音与动作设计：选择专业级的文本到语音系统，让数字人的声音逼真且能传达多种情感和语调。 上线后，要持续维护，包括处理技术问题、响应用户反馈和定期更新，确保数字人长期保持价值和相关性。
85110编辑于 2025-03-20 - 来自专栏AI技术应用
AI数字人的开发框架
AI数字人的开发框架通常包括以下几个关键步骤和组件。1. 定义目的在开发AI数字人之前，需要明确其用途，例如虚拟导游、品牌大使、教师或陪伴者等。这将决定后续的技术选型、设计元素和基础设施。2. 选择合适的技术AI数字人需要融合多种技术，包括机器学习、自然语言处理、渲染引擎、语音合成、计算机视觉和动作捕捉。根据数字人的功能需求，选择相应的AI模型、软件和硬件。 语音与动作设计：选择专业级的文本到语音系统，让数字人的声音逼真且能传达多种情感和语调。 例如，NVIDIA的数字人蓝图结合了NVIDIA NIM微服务与参考代码和文档，用于构建和运营定制的AI应用。腾讯云AI数字人：腾讯云提供了多种场景下的AI数字人解决方案，如新闻播报、客服、导游等。 通过遵循这些步骤和利用现有的框架与工具，可以高效地开发出功能强大且用户体验良好的AI数字人。
73310编辑于 2025-03-20 - 来自专栏媒矿工厂
使用体积视频创建数字人
来源：YouTube 主讲：Piotr Uzarowicz - Arcturus 内容整理：周凯 体积视频仍处于发展的早期阶段，过去两年中，娱乐公司，体育赛事团队等意识到数字人可以代替面对面的活动，并且可以利用数字人实现人工智能驱动的世界 本文介绍了如何使用体积视频创建数字人，体积视频的后处理方法和传输方式等。 目录 使用体积视频系统创建数字人 体积视频的后处理方式 数字人内容如何分发？ 使用体积视频系统创建数字人 如图所示是微软混合现实（由 metastage 运营）创建数字人的方法，使用 53 个 RGB 相机和 IR 相机动态捕捉人物动作，然后拼接成点云，进一步生成包含纹理的 mesh 重建后的数字人可以被导入到 3D 引擎中，如 Unity 和 Unreal。 在数字人的驱动方面，基于机器学习的语音驱动或者动作驱动等方法也可以用于数字人，从而为交互带来更大的便利。
1.5K31编辑于 2022-04-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号