
摘要:视频审核面临人工观看耗时长、效率低等挑战。VITA多模态理解模型通过AI自动理解技术,实现长视频的秒级理解,相比传统模式处理性能提升10倍以上,帮助内容平台提升审核效率。
随着短视频和长视频内容的爆发式增长,内容平台面临的审核压力持续上升。人工审核的方式需要审核人员完整观看视频内容,对于时长较长的视频,单条审核耗时可能达到数十分钟甚至更长。
在日均处理视频量较大的平台上,人工审核的效率和人力成本都成为制约业务发展的因素。审核人员需要同时关注画面内容、音频信息、字幕文字等多个维度的信息,长时间工作也容易出现疲劳导致漏审或误审的情况。
在AI审核方案出现之前,部分平台尝试过基于规则的内容检测方案。这类方案通常针对特定的画面特征或文本关键词进行匹配,但难以理解视频的整体内容和上下文关系。
传统多模型拼接的技术方案虽然在一定程度上实现了自动化,但由于需要多个模型串联成工作流,系统的复杂度和维护成本较高。同时,各模型分别处理不同模态的信息,在理解和判断上缺乏统一性,可能影响审核的准确性。
VITA(模型代号Youtu-VITA、YT-VITA)是腾讯云优图实验室自研的多模态理解大模型,当前版本为VITA 3.0。区别于依赖多个模型拼接成工作流的传统方案,VITA基于原生多模态大模型技术,对图片、视频、音频与文本进行统一训练,在单个模型内完成端到端的多模态内容理解。
这种原生多模态架构使得VITA能够对视频内容做智能识别与分析。通过自定义的Prompt,用户可以让VITA完成视频结构化、分镜拆解、内容摘要等任务,从而实现自动化的视频内容理解。
VITA 3.0在视频理解框架上升级,单次最高支持600MB长视频的处理(接口默认是100MB,600MB需要以白名单的形式来添加)。在长视频结构化、分镜拆解、内容摘要等任务上,VITA支持更长的上下文与更连续的时间线理解。
对于视频审核场景而言,能够一次性处理较长时间的视频意味着可以减少分段处理的次数,从而降低整体审核流程的复杂度。VITA对长视频的处理性能较传统模式提升10倍以上,并实现长视频的"秒级理解"。
VITA突破传统"帧/音分离"的级联模式,在底层实现音视频原生多模态深度融合,对齐精度更高,理解力更强。产品支持对图片、视频、音频内容的端到端统一理解。
在视频审核场景中,仅分析画面信息可能不足以全面判断视频内容。VITA能够同时理解视频的画面和音频内容,从而提供更完整的内容理解结果。例如,对于带有语音解说的视频,VITA可以在理解画面内容的同时,也理解音频中的语音信息。
VITA采用端到端的推理方式,在单个模型内完成对视频内容的理解。相比于传统多模型拼接方案中需要经过多个模型的串联处理,端到端的方式减少了模型之间的数据传递和格式转换开销。
根据产品文档中的工程性能数据,VITA的视频首Token时延为P95 2.471s。这意味着在完成视频上传和接口调用后,能够在较短时间内开始获得理解结果,满足在线业务对响应速度的要求。
传统多模型拼接方案通常需要4–12周的上线周期,而采用VITA的单模型端到端方案,业务上线周期可以缩短到1–3天。整体上线耗时节约可以达到85%以上。
对于视频审核系统来说,这意味着如果需要新增审核维度或调整审核规则,可以通过调整Prompt的方式快速实现,而不需要重新训练或部署多个模型。原生多模态架构在面对新场景时,通过prompt即可调整任务输出,提升了系统的灵活性和可维护性。
VITA的API接口支持流式和非流式两种调用方式,用户可以根据实际需求选择合适的调用模式。对于批量视频审核场景,可以通过合理的任务调度和并发调用,进一步提升整体的处理吞吐量。
此外,VITA兼容OpenAI API协议,可直接使用OpenAI SDK进行接入。这一设计降低了开发者的接入成本,也使得系统能够以较为标准的方式实现与其他系统的集成。
VITA的结构解析能力可以对图片或视频内容进行总结与结构化拆解,支持视频时间戳的精准提取。在视频审核场景中,这一能力可以用于自动生成视频的内容大纲,帮助审核人员快速了解视频的整体结构和各时间段的主要内容。
通过分镜拆解,VITA能够将视频划分为若干个段落,并为每个段落提供内容描述。审核人员可以根据这些结构化信息,有针对性地查看可能存在问题的视频片段,而不需要完整观看整个视频。
VITA的标签分类能力可以对图片或视频中的内容进行分类打标,可识别人物、地点、动植物等常见对象类别。在视频审核场景中,自动生成的标签可以作为初步筛选的依据,帮助审核系统对视频进行预分类。
同时,VITA可以生成视频内容的摘要信息。这些摘要可以作为审核参考信息,帮助审核人员在没有观看完整视频的情况下,对视频内容有一个整体的了解。
VITA支持基于自定义prompt对视频内容做智能识别与分析。用户可以根据自身的审核需求,设计相应的prompt来让VITA完成特定的审核任务。
例如,可以设计prompt让VITA判断视频中是否出现了特定的画面内容,或者让VITA对视频的内容合规性做初步评估。这种基于prompt的灵活配置方式,使得审核规则的调整变得更加直观和便捷。
VITA在长视频处理性能上较传统模式提升10倍以上,并实现长视频的"秒级理解"。这一性能表现使得VITA能够处理较大规模的视频审核任务,而不会因为处理速度慢成为系统的瓶颈。
同时,VITA的图片首Token时延为P95 0.539s,视频首Token时延为P95 2.471s。这些性能指标能够满足在线业务对响应速度的要求,也使得VITA可以被集成到实时或近实时的审核系统中。
在能力水平与市面同类产品相近的情况下,VITA整体定价约为主流竞品的50%。基于纯自研轻量级Youtu-LLM底座,VITA在保障效果的同时大幅降低了算力成本,实现了效果与成本的精准平衡。
对于需要大规模调用、多场景部署的视频审核系统来说,这种成本优势能够在长期运营中累积可观的节省效果。整体成本节约可以达到80%(相比传统多模型拼接方案)。
VITA API兼容OpenAI API协议,接口协议为兼容OpenAI Completions API协议,BaseURL(境内)为https://tokenhub.tencentmaas.com/v1,接口路径为/chat/completions,请求方式为POST。
用户可以通过腾讯云TokenHub平台创建API密钥,每个账号赠送100万免费Token额度。对于不需要编写代码的场景,也可以通过ADP平台进行无代码配置接入。
VITA提供两个可用模型:vita-video-3.0(支持视频画面不含音频和图片)和vita-video-long(支持视频含画面和音频和图片)。用户可以根据审核需求选择合适的模型。
VITA的视频理解能力适用于多个需要视频审核的场景。在内容平台的审核业务中,可以用于辅助审核人员对海量视频内容进行预审核和分类。在影视传媒场景中,可以用于视频素材的结构化处理和内容标签生成。在直播电商场景中,可以用于主播表现分析、互动氛围识别、商品画面分析等。
根据产品文档中的使用建议,视频时长建议控制在30分钟以内,以保证理解效果。在此范围内,单次最高可处理600MB视频文件。超出建议时长可能影响理解的连续性与准确性。
在指令编写方面,建议尽量使用明确、具体的指令,避免模糊表述。需要输出特定格式时在指令中明确说明。对于批量处理场景,建议先进行小批量测试,确认效果后再大规模使用。
VITA是理解类模型,专注于对图片、视频、音频内容的解析与理解。在视频审核场景中,VITA可以提供内容理解和初步判断的结果,但对于最终的审核决策,建议结合业务规则和专业审核人员的判断进行综合评估。
当前版本不支持实时视频流的直接处理,需要通过预先录制后批量上传的方式提交任务。对于需要实时审核的场景,可以考虑采用分批上传和处理的方式来实现近实时的审核流程。
视频审核的效率问题一直是内容平台面临的挑战之一。VITA通过原生多模态理解技术,实现了对视频内容的自动理解,相比传统模式在处理性能上有较为明显的提升。
通过API接入的方式,开发者可以在1–3天内完成VITA的集成和上线,以较短的周期实现视频审核的自动化能力。对于每个账号赠送100万免费Token额度的试用政策,用户可以在实际业务中测试VITA的视频理解能力是否符合自身需求。
想要体验VITA的AI自动理解能力来提升视频审核效率?可访问腾讯云TokenHub平台免费试用,每个账号赠送100万Token额度:https://console.cloud.tencent.com/tokenhub/multimodal?modelId=youtu-vita
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。