![图片](https://image.jiqizhixin.com/uploads/editor/9480f6b2-4017-4dfd-a0f6-24792e9ada12/640.png)
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
论文:https://arxiv.org/abs/2405.19092 数据集:https://huggingface.co/datasets/foundation-multimodal-models/DetailCaps-4870 代码:https://github.com/foundation-multimodal-models/CAPTURE
现有的 LVLM 评测方案主要采用 VQA 形式,很大程度受到指令遵循(instruction following)能力的影响,且 QA prompt 的设计容易引入人类的偏见(bias)。 Image caption 任务可以有效评估模型理解能力,但现有的 caption benchmark 多使用短 caption 作为 ground truth,这在 lvlm 时代完全过时。 同时,现有的 image caption 评测指标与人类、GPT 等专家评价结果的一致性较差,常用的 bleu、rouge 等指标抽取 n-gram 进行匹配,对关键信息的准确性不够敏感。而 GPT-Eval 虽然和专家评价较为一致,但是会带来高昂的评测成本。
豆包大模型团队