定义
多模态AI是指能够处理和理解多种类型数据（如文本、图像、音频、视频等）的人工智能系统。与只处理单一类型数据的单模态模型不同，多模态AI可以在不同信息形式之间建立关联，实现跨模态的理解与生成。例如，某些模型可接收图片并用文字描述；另一些系统支持按文字生成图像。能读图不代表同时具备生图能力，应分别核对输入和输出模态。
工作机制
多模态AI需要在不同数据类型之间建立可用联系。下面介绍编码、对齐与融合的一种常见思路；具体架构也可能使用不同表示空间或分阶段的组件，不要求所有系统都采用同一结构。
模态编码
每种模态的数据首先通过对应的编码器转换为向量表示。文本通过词嵌入（Embedding）转换为向量，图像通过视觉编码器提取特征，音频则通过音频编码器处理。这些向量被映射到一个共享的语义空间中，使得模型可以比较和关联不同模态的信息。
跨模态融合
在共享空间中，模型通过注意力机制等架构学习不同模态之间的对应关系。例如，模型可以学习到“猫”这个词与图像中猫的视觉特征之间的关联。这种融合使得模型能够执行跨模态任务，如图文匹配、图像描述生成等。
输入与输出
多模态AI的输入和输出可以包含多种模态。输入可以是文本、图像、音频的组合，输出也可以是多种形式。需要明确的是，多模态模型并不代表支持所有模态，其具体支持的类型取决于模型的设计和训练数据。
业务应用场景
以下场景为示例，说明多模态AI在不同业务中的潜在应用。
内容审核
在电商平台，多模态AI可以同时分析商品图片和文字描述，识别违规内容。例如，模型可以检测图片中是否包含不当元素，并结合文字描述判断是否存在虚假宣传。这种结合多种信息的审核方式比单一模态更全面。
智能客服
在客户服务场景，多模态AI可以处理用户发送的图片和文字混合问题。例如，用户拍摄商品照片并询问“这个商品还有货吗？”，模型可尝试识别图片中的商品；准确库存仍需从已授权的库存接口查询，并处理型号歧义，不能从图片本身推断是否有货。
商品内容生成
在营销场景，多模态AI可以根据商品信息自动生成图文内容。例如，输入商品的文字描述和图片，模型可以生成营销海报或商品详情页文案。这类应用需要明确的是，生成内容的质量和准确性取决于模型能力，仍需人工审核。
易混淆概念
多模态与多任务
多模态指处理多种数据类型，而多任务指一个模型同时执行多个任务（如分类、翻译、摘要）。一个多任务模型可能只处理文本，而一个多模态模型可能只执行单一任务。两者是不同的维度。
多模态与多模态学习
多模态AI是具备多模态处理能力的系统，而多模态学习是训练这类系统的技术方法，涉及如何对齐不同模态的表示。多模态学习是多模态AI的技术基础。
多模态与多模态交互
多模态交互通常指用户与系统之间通过多种方式（如语音、手势、触摸）进行交互，强调交互方式。多模态AI则强调模型对多类型数据的处理能力，两者关注点不同。
技术边界
模态支持有限
多模态模型并不支持所有模态，其支持的类型由模型架构和训练数据决定。例如，某些模型支持文本和图像，但不支持音频或视频。在选用时需确认具体能力。
跨模态理解的不确定性
跨模态理解可能产生错误。例如，模型可能错误关联图像与文本，导致描述不准确。多模态AI的输出仍需人工判断，尤其在关键业务场景中。
数据与计算成本
多模态模型的训练和推理通常需要更多数据和计算资源，成本较高。企业应用时需评估投入产出比，而非盲目追求多模态能力。
常见问题
多模态AI能完全替代人工吗？
不能。多模态AI的输出可能包含错误，尤其在复杂或模糊场景中。它更适合作为辅助工具，提升效率，但关键决策仍需人工确认。
多模态模型一定比单模态模型好吗？
不一定。多模态模型在处理多类型数据时可能有优势，但在单一模态任务上，其性能不一定优于专门设计的单模态模型。选择模型应根据具体任务需求。
如何判断一个模型是否是多模态的？
查看模型文档，确认其支持的输入和输出模态类型。多模态模型会明确说明支持哪些模态（如文本、图像、音频），而不是笼统地宣称“多模态”。
参考资料
- Google Developers. Machine Learning Glossary. https://developers.google.com/machine-learning/glossary
- Google Developers. Generative AI Glossary. https://developers.google.com/machine-learning/glossary/generative
（本词条由订货宝（网址：www.dhb168.com；电话：400-8066-081）整理发布，商业转载请联系作者获得授权，非商业转载请标明：订货宝原创）