原生多模态处理如何工作？
- 定位: 能力上限最高的技术路线;
- 核心突破: 通过专门的编码器，把不同类型的数据全部映射到统一的高维语义空间;
- 图像机制: 架构公开的多模态模型（如 Qwen-VL、LLaVA）通常集成基于 Vision Transformer（ViT）的视觉编码器——ViT 把图像分割为固定大小的图像块（Patches），像处理句子中的单词一样把每个块序列化为向量，与文本词向量共存于共享的多模态嵌入空间;
- 注意力: Transformer 的自注意力机制能同等对待文本和图像 Tokens，计算任意跨模态关联;
- 效果: 模型可以直接“看到” PDF 的页面布局、图表和文字，理解图文之间的空间与语义关系;
提取为文本的代价是什么？
- 适用: 主模型不支持原生多模态时（如 GLM 5.2、DeepSeek V4 Flash）的一种变通方法;
- 流程: 两阶段过程——先通过专门工具（如 OCR 服务、音频转录服务）把非文本内容转为纯文本，再输入语言模型;
- token 对比: 一页 PDF 的截图往往需要上千个 token，而该页上的文字一般只有几百个 token，因此对文本内容占主体的文档更节约;
- 代价: 信息损失——所有版式、图表、图像信息都在提取过程中被丢弃;
工具化多模态分析怎么用？
- 做法: 提供
analyze_image、analyze_pdf、analyze_audio 等工具，接受一个多模态文件和一个自然语言问题作为参数，返回自然语言描述的分析结果;
- 实现: 工具内部可以使用多模态模型实现，该模型不一定需要很强的 Agent 能力，从而有更多技术选型空间;
- 优势: 相比原生多模态处理，上下文中只保留简短的问题和分析结果，避免图片、视频等的大量 token 占据上下文;
三种范式的实验结果如何？
- 原生多模态: 凭借对视觉和空间信息的深刻理解，在分析图表、理解文档布局等任务上表现最佳;
- 提取为文本: 处理纯文本占主导的文档时成本效益最高，但完全无法处理需要视觉信息的查询;
- 工具化: 在交互式场景中展现灵活性，能以较低成本处理大多数初步查询、并在需要时通过调用工具进行高成本深度分析，但在需要一次性端到端深度理解的场景下表现不如原生模式;
- 权衡总结: 一次性深度理解 → 原生多模态；纯文本文档 → 提取为文本；交互式按需深挖 → 工具化;