因果发现的现实挑战：稀缺的高级变量

这项工作探讨了如何可靠地评估并提高大规模视觉语言模型在面对真实分布外数据的鲁棒性，特别是通过新构建的 CounterAnimal 数据集评估 CLIP 模型在分布外场景下的表现。

当前，大语言模型（Large Language Model, LLM）借助上下文学习（In-context Learning）和思维链提示（Chain of Thoughts Prompting），在许多复杂推理任务上展现出了强大的能力。

在这项工作中，我们提出了一种名为Envisioning Outlier Exposure (EOE) 的分布外检测方法，该方法利用通过利用大型语言模型 (LLM) 的专家知识和推理能力来想象潜在的异常值暴露，从而提升VLMs的OOD检测性能 (如图1 (c) 所示)，同时无需访问任何实际的 OOD 数据。

我们提出了一种名为NegLabel的创新方法，该方法利用VLMs进行OOD检测。NegLabel方法特别引入了“负标签”机制，这些负标签与已知ID类别标签具有显著的语义差异，通过分析比较图像与ID标签和负标签的亲和性，NegLabel能够有效地区分出属于分布外的样本，从而显著增强模型对OOD样本的识别能力。

我们结合球面线性插值法和直接引入噪声的方法，提出了一个全新的插值方法：对潜在变量的极值进行约束，并结合微小的高斯噪声使其更接近预期的分布，且引入了原始图片来缓解信息丢失的问题。

尽管大语言模型 LLM (Large Language Model) 在各种应用中取得了巨大成功，但它也容易受到一些 Prompt 的诱导，从而越过模型内置的安全防护提供一些危险 / 违法内容，即 Jailbreak。