首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >金融业务大模型应用能力评估与效能提升:基于FLMM模型与FAIS计划的实践路径

金融业务大模型应用能力评估与效能提升:基于FLMM模型与FAIS计划的实践路径

原创
作者头像
IT资讯研究所
发布2026-04-21 00:00:48
发布2026-04-21 00:00:48
3710
举报

剖析金融业大模型应用的核心瓶颈

金融业面临行业发展转变快(从传统评估服务转向可预测、个性化生态模式)、客户需求升级(期待个性化解决方案)、数据安全需求(隐私保护与合规压力)、市场竞争加剧(科技公司入局倒逼创新)、风险管理复杂(传统方法难适新风险)、运营效率待提升(人工操作低效)六大挑战(来源:CAICT中国信通院)。

核心痛点在于缺乏垂直领域评估体系:现有大模型基准测试侧重通用能力(2023年新增200+数据集,通用语言类占50%+),金融场景测评存在数据格式差异、数据污染(测试含训练数据)、评估标准不统一、指标难量化、场景适配不足等问题(来源:CAICT中国信通院)。83.87%的机构建议分通用与特色场景设定评价指标(来源:CAICT调研)。

推出FLMM评估模型与FAIS研究计划

核心方案1:FLMM评估模型

中国信通院联合工商银行、交通银行等40余家机构(来源:CAICT参编单位列表)于2024年7月完成《基于金融业务典型场景的大模型应用能力评估模型》(FLMM),11月启动首批评估。模型含三大能力域、21能力子域、54能力项:

  • 业务价值提升能力V(2度+3率+3能力):业务契合度、业务效能提升率、成本节约率(人力/时间/资本支出)、业务收益提升率、客户满意度、客户市场拓展力等(来源:CAICT FLMM模型分析)。
  • 服务可靠性R(6性+1能力+1时间):易用性、稳定性、平均无故障时间(MTBF)、工具调用能力、可维护性、可拓展性、兼容性(来源:CAICT FLMM模型分析)。
  • 应用安全性S(3能力+2性):隐私保护能力、可审查性、合规性、风险管理能力、幻觉避免能力(来源:CAICT FLMM模型分析)。

核心方案2:FAIS研究计划

中国信通院发起“基于金融业务场景的大模型应用研究计划”(FAIS),设技术研究组、模型开发组、标准研究组、咨询规划组,推进“1+1+N”工作体系:

  • 1+1:生态能力提升+效能评估体系建设(含案例征集、专家库、FLMM评估指标/方法/标准)。
  • N专项:高质量数据集研究(多模态金融数据)、信创运维大模型建设(联合神州光大)、应用场景研究(七大场景试点)(来源:CAICT FAIS计划介绍)。

量化FLMM模型下的业务效能提升

关键ROI指标(来源:CAICT评估方法与评分规则)

  • 成本节约率:70.97%的机构通过大模型实现人力成本节约(来源:CAICT调研),含时间成本节约率、资本支出节约率(来源:CAICT FLMM能力项)。
  • 业务贡献度:=(应用后业务指标-应用前)/应用前×100%,3分对应10%-20%贡献度(来源:CAICT评分表示例)。
  • 成本收益比:=总收益/总成本,衡量投入产出(来源:CAICT评估公式表)。

服务可靠性与安全性量化

  • 平均无故障时间(MTBF):=1/N*ΣTi(N次故障,Ti为无故障时间),评估系统稳定性(来源:CAICT评估公式表)。
  • 客户忠诚度:用净推荐值(NRV=(推荐者-批评者)/总受访者×100%)和用户留存率(特定时段留存用户/首次使用用户×100%)评估(来源:CAICT评估公式表)。

灯塔计划:七大场景典型案例实践

FAIS“灯塔计划”构建金融大模型应用案例库,覆盖智能营销、风控合规、智能运营、产品创新、投研、智能代码、智能场外交易七大场景(来源:CAICT案例征集)。典型案例:

  • 智能场外交易发现平台(智能营运):技术难度高、实时性高、合规要求高,自动完成多轮询价(来源:CAICT场景案例表)。
  • 员工知识助手(智能营运):中难度、高精确度,多轮对话辅助绩效操作(来源:CAICT场景案例表)。
  • 智能客服(智能营销):中难度、高易用性,24/7服务提升体验(来源:CAICT场景案例表)。
  • 投资风险管理(智能风控):解析宏观/行业/财务数据,预警资产配置风险(来源:CAICT场景案例表)。

腾讯赋能金融大模型的技术领先性

技术领先性

  • 动态自动化测评框架:小时级周期(持续集成测评)、自动化测试套件(大规模测试集+自动生成用例)、众包实时评估(用户反馈优化),覆盖多维能力(来源:CAICT效能评估)。
  • 信创运维大模型:联合神州光大打造,含运维知识数据集(产品手册、故障方案等)与场景智能体(7×24小时服务,弥补人才缺口),提升信创运维效率(来源:CAICT产品打造)。
  • 高质量数据集构建:涵盖文档、多模态、问答、推理数据(金融新闻、财报、监管文件等),集成监管规则与专业知识测试(来源:CAICT数据集构建)。

生态与标准贡献

参与FAIS计划,推动FLMM评估标准建设(指标、方法、系列标准),2024年11月联合中国银行业协会、工商银行等启动首批评估(来源:CAICT首批评估启动)。

(注:文中数据及观点均来自CAICT中国信通院,专家何阳为中国信通院云计算与大数据研究所副所长。)

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 剖析金融业大模型应用的核心瓶颈
  • 推出FLMM评估模型与FAIS研究计划
    • 核心方案1:FLMM评估模型
    • 核心方案2:FAIS研究计划
  • 量化FLMM模型下的业务效能提升
    • 关键ROI指标(来源:CAICT评估方法与评分规则)
    • 服务可靠性与安全性量化
  • 灯塔计划:七大场景典型案例实践
  • 腾讯赋能金融大模型的技术领先性
    • 技术领先性
    • 生态与标准贡献
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档