14 分钟
多模态AI的2025：视觉·听觉·具身智能的三重突破
Published on 2026-05-29
2025年是多模态人工智能从「能用」走向「好用」的关键年份。GPT-4o和Gemini的面世让视觉理解、语音交互与文本处理融为一体，而国产模型如豆包、Kimi等也在迅速追赶。本文梳理多模态AI在视觉-听觉-具身智能三条主线上的最新进展，分析技术路线差异与落地场景。
Loading...
Loading...
Published on 2026-05-29
2025年是多模态人工智能从「能用」走向「好用」的关键年份。GPT-4o和Gemini的面世让视觉理解、语音交互与文本处理融为一体，而国产模型如豆包、Kimi等也在迅速追赶。本文梳理多模态AI在视觉-听觉-具身智能三条主线上的最新进展，分析技术路线差异与落地场景。
|date: 2026-05-29|
2025年的AI行业，有一个主题词正在被反复提起：多模态融合。
从ChatGPT到GPT-4o，从Gemini 1.5到国产豆包大模型，「能看、能听、能说、能行动」不再只是宣传语，而正在成为新一代基础模型的标准配置。这背后有三条技术主线在并行推进：视觉理解（Vision）、语音交互（Audio）、具身智能（Embodied AI）。
本文聚焦这三条主线，梳理关键进展与背后逻辑。
2024年初，视觉语言模型（VLM）的代表还是GPT-4V、Gemini Pro Vision，它们的能力止步于单图描述、表格提取等固定任务。到了2025年，主流模型已经可以：
火山引擎豆包模型在2025年集成了视觉理解能力，在中文场景下的OCR准确率和图表理解能力已经可以和GPT-4o相媲美。尤其在金融票据、医疗影像分析等垂直场景，国产模型因为训练数据的中文占比更高，表现出明显的本土优势。
// 豆包视觉理解 API 调用示意
const response = await fetch('https://ark.volcengineapi.com/v1/multimodal', {
method: 'POST',
headers: { 'Authorization': `Bearer ${VOLC_API_KEY}` },
body: JSON.stringify({
model: 'doubao-pro-32k',
messages: [{
role: 'user',
content: [
{ type: 'text', text: '请描述这张图片中的关键信息' },
{ type: 'image_url', url: 'https://example.com/chart.png' }
]
}]
})
});
过去几年，语音助手的标准架构是ASR（语音识别）→LLM（语言模型）→TTS（语音合成） 三段式串联。这套架构的问题是：
GPT-4o的发布让行业看到了端到端语音交互的可能性：模型直接接收音频token，绕过ASR和TTS的割裂感，延迟压到500ms以内，且能感知说话者的情绪和语气。
国内方面，豆包语音大模型也在朝这个方向迭代。实测在火山引擎的Playground页面，可以实现几乎无延迟的语音对话，且支持音色克隆和情感控制。
视觉理解和语音交互解决的是AI「看」和「听」的问题，而具身智能解决的是「做」的问题——让AI能够操控物理世界。
典型应用场景：
| 场景 | 当前状态 | 关键技术 |
|---|---|---|
| 家庭机器人 | 实验室阶段 | 视觉-动作Policy模型 |
| 自动驾驶 | 封闭场景商用 | 多传感器融合+LLM规划 |
| 工业装配 | 辅助人类阶段 | 视觉引导+力控 |
| AI手机/PC Agent | 早期探索 | GUI理解+操作自动化 |
具身智能最大的挑战不是算法，而是数据。ImageNet时代，视觉模型用海量的互联网图片训练；LLM时代，有万亿级的文本语料。但具身智能需要的「视觉-动作配对」数据规模远小于此，且获取成本极高。
解决这个问题有两条路：
| 维度 | 闭源大厂（OpenAI/Google/火山引擎） | 开源社区（LLaVA/InternVL） |
|---|---|---|
| 模型质量 | 顶尖，但成本高 | 中上，性价比好 |
| 部署灵活度 | 受限，需API调用 | 可私有化部署 |
| 中文能力 | 豆包/Gemini中文优化 | 通识，但垂直场景需微调 |
| 迭代速度 | 快（集中资源） | 快（社区驱动） |
对于企业用户而言，混合路线可能是最优解：基础能力用开源模型（降低调用成本），关键场景用闭源模型（保证效果上限）。
多模态API成为标配：到年底，所有主流LLM API提供商都将上线多模态接口，单模态模型逐渐退出历史舞台。
端侧多模态模型爆发：受限于隐私和延迟需求，手机端、PC端的本地多模态模型将快速成熟，骁龙X Elite和苹果M4系列芯片的NPU算力已经可以支撑7B级别的VLM实时推理。
具身智能进入落地元年：头部机器人公司将在2025年实现千台级别的量产，多模态大模型从「对话」场景扩展到「操作」场景。
多模态AI的本质，是让机器拥有接近人类的多通道感知能力。2025年，我们正在跨越一道重要门槛——从「能听见你的话」到「能看见你看到的东西，并理解这一切意味着什么」。
这条路的终点不是更聪明的聊天机器人，而是能够真正参与现实世界决策的AI系统。它可能还需要数年才能真正成熟，但2025年的突破，已经让我们看清了方向。
本文相关图片由火山引擎Seedream 5.0生成。