陈丹琦团队发布CharXiv数据集：重新定义图表理解的评估标准

论文：CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs 链接：https://arxiv.org/pdf/2406.18521 项目：https://charxiv.github.io

这篇文章的标题是《CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs》，由普林斯顿大学、威斯康星大学麦迪逊分校和香港大学的研究人员撰写。文章主要关注多模态大型语言模型（MLLMs）在理解和分析图表方面的能力和局限。

以下是对文章的简洁解读：

1. 研究背景：在现实世界任务中，如分析科学论文或财务报告，图表理解对MLLMs至关重要。但现有的数据集通常关注过于简化和同质化的图表，以及基于模板的问题，这导致对模型进展的评估过于乐观。

1. 现有问题：尽管一些开源模型在现有基准测试中表现优于专有模型，但研究表明，当图表或问题稍有变化时，性能可能下降高达34.5%。

1. CharXiv数据集：文章提出了一个新的评估套件CharXiv，包含来自arXiv论文的2323个自然、具有挑战性和多样化的图表。CharXiv包含两种类型的问题：描述性问题（检查图表的基本元素）和推理问题（需要综合图表中的复杂视觉元素）。

1. 数据质量：所有图表和问题都由人类专家挑选、策划和验证，确保了质量。
2. 评估结果：研究结果显示，即使是最强的专有模型（如GPT-4o）和开源模型（如InternVL Chat V1.5）在图表理解能力上也存在显著差距，远落后于人类的表现。

1. 研究意义：CharXiv旨在通过提供更现实和准确的评估，促进未来MLLMs在图表理解方面的研究。
2. 实验设置：评估了13个开源模型和11个专有模型，发现开源和专有模型之间存在显著差异。
3. 结论：文章指出，现有的基准测试设计缺陷导致了对图表理解能力的高估，并强调了开发新的评估工具如CharXiv的重要性。

文章还包括了详细的相关工作、实验结果、分析和结论部分，但由于篇幅限制，这里只提供了一个高层次的概述。

本文由kimi+人工共同完成。