长上下文大模型进展I

标题：TracLLM

代码地址：https://github.com/Wang-Yanting/TracLLM

发表日期：2025-06-04

摘要：长上下文大模型（LLMs）被部署在许多实际应用中，如RAG、代理和广泛的集成应用程序。给定一个指令和一个长上下文（例如文档、PDF文件、网页），长上下文LLM可以生成基于所提供上下文的输出，旨在提供更准确、更新且可验证的输出的同时减少幻觉和不支持的主张。这提出了一个研究问题：如何确定哪些文本（如句子、段落或章节）对LLM生成的输出贡献最大或负责？这个过程称为上下文回溯，具有各种实际应用，例如调试基于LLM的系统；对LLM进行攻击后的分析（如提示注入攻击、知识篡改攻击）；突出知识来源以增强用户对LLM生成的输出的信任度。当应用到长上下文LLM的上下文回溯时，现有的特征归因方法（如Shapley）的性能不佳或计算成本高昂。本工作开发了TracLLM，这是第一个专门为长上下文LLM设计的通用上下文回溯框架，可以提高现有特征归因方法的效率和效果。为了提高效率，在TracLLM中开发了一种基于启发式搜索的算法。还开发了贡献评分集合并/去噪技术以提高TracLLM的准确性。评估结果表明，TracLLM能够有效地识别LLM输出中的长上下文背景下的一些文本。

论文地址：http://arxiv.org/abs/2506.04202v1