在这项工作中,我们提出了一种名为Envisioning Outlier Exposure (EOE) 的分布外检测方法,该方法利用通过利用大型语言模型 (LLM) 的专家知识和推理能力来想象潜在的异常值暴露,从而提升VLMs的OOD检测性能 (如图1 (c) 所示),同时无需访问任何实际的 OOD 数据。
Auto Byte
专注未来出行及智能汽车科技
微信扫一扫获取更多资讯
Science AI
关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展
微信扫一扫获取更多资讯
在这项工作中,我们提出了一种名为Envisioning Outlier Exposure (EOE) 的分布外检测方法,该方法利用通过利用大型语言模型 (LLM) 的专家知识和推理能力来想象潜在的异常值暴露,从而提升VLMs的OOD检测性能 (如图1 (c) 所示),同时无需访问任何实际的 OOD 数据。
我们提出了一种名为NegLabel的创新方法,该方法利用VLMs进行OOD检测。NegLabel方法特别引入了“负标签”机制,这些负标签与已知ID类别标签具有显著的语义差异,通过分析比较图像与ID标签和负标签的亲和性,NegLabel能够有效地区分出属于分布外的样本,从而显著增强模型对OOD样本的识别能力。
我们结合球面线性插值法和直接引入噪声的方法,提出了一个全新的插值方法:对潜在变量的极值进行约束,并结合微小的高斯噪声使其更接近预期的分布,且引入了原始图片来缓解信息丢失的问题。
尽管大语言模型 LLM (Large Language Model) 在各种应用中取得了巨大成功,但它也容易受到一些 Prompt 的诱导,从而越过模型内置的安全防护提供一些危险 / 违法内容,即 Jailbreak。