我们提出了一种名为NegLabel的创新方法,该方法利用VLMs进行OOD检测。NegLabel方法特别引入了“负标签”机制,这些负标签与已知ID类别标签具有显著的语义差异,通过分析比较图像与ID标签和负标签的亲和性,NegLabel能够有效地区分出属于分布外的样本,从而显著增强模型对OOD样本的识别能力。
Auto Byte
专注未来出行及智能汽车科技
微信扫一扫获取更多资讯
Science AI
关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展
微信扫一扫获取更多资讯
我们提出了一种名为NegLabel的创新方法,该方法利用VLMs进行OOD检测。NegLabel方法特别引入了“负标签”机制,这些负标签与已知ID类别标签具有显著的语义差异,通过分析比较图像与ID标签和负标签的亲和性,NegLabel能够有效地区分出属于分布外的样本,从而显著增强模型对OOD样本的识别能力。
我们结合球面线性插值法和直接引入噪声的方法,提出了一个全新的插值方法:对潜在变量的极值进行约束,并结合微小的高斯噪声使其更接近预期的分布,且引入了原始图片来缓解信息丢失的问题。
尽管大语言模型 LLM (Large Language Model) 在各种应用中取得了巨大成功,但它也容易受到一些 Prompt 的诱导,从而越过模型内置的安全防护提供一些危险 / 违法内容,即 Jailbreak。