0.25秒识破未见攻击，这套检测方法没看过任何越狱样本 | EMNLP'26
0.25秒识破未见攻击，这套检测方法没看过任何越狱样本 | EMNLP'26大视觉语言模型（LVLM）把语言理解扩展到了图像等多模态输入，同时，也带来了更隐蔽的攻击面。
来自主题: AI技术研报
5504 点击 2026-09-03 09:50
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大视觉语言模型（LVLM）把语言理解扩展到了图像等多模态输入，同时，也带来了更隐蔽的攻击面。
多轮视觉问答，正在成为LVLM推理效率的“照妖镜”。
随着高分辨率图像理解与长视频处理需求的爆发式增长，大型视觉语言模型（LVLMs）所需处理的视觉 Token 数量急剧膨胀，推理效率成为落地部署的核心瓶颈。Token 压缩是缩短序列、提升吞吐的直接手段，但现有方法普遍依赖注意力权重来判断 Token 重要性，这一路线暗藏两个致命缺陷：
本文第一作者为刘禹宏，上海交通大学人工智能专业本科四年级学生，相关研究工作于上海人工智能实验室科研实习期间完成。通讯作者为王佳琦、臧宇航，在该研究工作完成期间，均担任上海人工智能实验室研究员。
尽管视觉语言模型（LVLMs）在图像与短视频理解中已取得显著进展，但在处理长时序、复杂语义的视频内容时仍面临巨大挑战 —— 上下文长度限制、跨模态对齐困难、计算成本高昂等问题制约着其实际应用。针对这一难题，厦门大学、罗切斯特大学与南京大学联合提出了一种轻量高效、无需微调的创新框架 ——Video-RAG。
多模态大模型崛起，安全问题紧随其后 近年来，大语言模型（LLMs）的突破式进展，催生了视觉语言大模型（LVLMs）的快速兴起，代表作如 GPT-4V、LLaVA 等。
多图像、长视频、细粒度感知正在让大型视觉语言模型（LVLM）变得越来越聪明，但也越来越“吃不消”：视觉Token数量的激增所带来的推理成本暴涨，正逐渐成为多模态智能扩展的最大算力瓶颈。
当前大型视觉语言模型（LVLMs）存在物体幻觉问题，即会生成图像中不存在的物体描述。
在金融科技智能化转型进程中，大语言模型以及多模态大模型（LVLM）正成为核心技术驱动力。尽管 LVLM 展现出卓越的跨模态认知能力
武汉大学等发布了一篇大型视觉语言模型（LVLMs）安全性的综述论文，提出了一个系统性的安全分类框架，涵盖攻击、防御和评估，并对最新模型DeepSeek Janus-Pro进行了安全性测试，发现其在安全性上存在明显短板。