当地时间5月9日，meta宣布开源了一种可以将可以横跨6种不同模态的全新ai模型imagebind，包括视觉（图像和视频形式）、温度（红外图像）、文本、音频、深度信息、运动读数（由惯性测量单元或imu产生）。目前，相关源代码已托管至github。

何为横跨6种模态？

(相关资料图)

即以视觉为核心，imagebind可做到6个模态之间任意的理解和转换。meta展示了一些案例，如听到狗叫画出一只狗，同时给出对应的深度图和文字描述；如输入鸟的图像 海浪的声音，得到鸟在海边的图像。

相比 midjourney、stable diffusion 和 dall-e 2 这样将文字与图像配对的图像生成器，imagebind 更像是广撒网，可以连接文本、图像/视频、音频、3d 测量（深度）、温度数据（热）和运动数据（来自 imu），而且它无需先针对每一种可能性进行训练，直接预测数据之间的联系，类似于人类感知或者想象环境的方式。

研究者表示 imagebind 可以使用大规模视觉语言模型（如 clip）进行初始化，从而利用这些模型的丰富图像和文本表示。因此，imagebind 只需要很少的训练就可以应用于各种不同的模态和任务。

imagebind 是 meta 致力于创建多模态 ai 系统的一部分，从而实现从所有相关类型数据中学习。随着模态数量的增加，imagebind 为研究人员打开了尝试开发全新整体性系统的闸门，例如结合 3d 和 imu 传感器来设计或体验身临其境的虚拟世界。此外它还可以提供一种探索记忆的丰富方式，即组合使用文本、视频和图像来搜索图像、视频、音频文件或文本信息。

该模型目前只是一个研究项目，没有直接的消费者和实际应用，但是它展现了生成式 ai 在未来能够生成沉浸式、多感官内容的方式，也表明了 meta 正在以与 openai、google 等竞争对手不同的方式，趟出一条属于开源大模型的路。

最终，meta 认为imagebind 这项技术最终会超越目前的六种“感官”，其在博客上说道，“虽然我们在当前的研究中探索了六种模式，但我们相信引入连接尽可能多的感官的新模式——如触觉、语音、嗅觉和大脑 fmri 信号——将使更丰富的以人为中心的人工智能模型成为可能。”

imagebind的用途

如果说 chatgpt 可以充当搜索引擎、问答社区，midjourney 可以被用来当画画工具，那么用 imagebind 可以做什么？

根据官方发布的 demo 显示，它可以直接用图片生成音频：

也可以音频生成图片：

亦或者直接给一个文本，就可以检索相关的图片或者音频内容：

也可以给出音频，生成相应的图像：

正如上文所述， imagebind 给出了未来生成式 ai 系统可以以多模态呈现的方式，同时，结合 meta 内部的虚拟现实、混合现实和元宇宙等技术和场景结合。用 imagebind 这样的工具会在无障碍空间打开新的大门，譬如，生成实时多媒体描述来帮助有视力或听力障碍的人更好地感知他们的直接环境。

关于多模态学习还有很多待发掘的内容。人工智能研究界尚未有效地量化只出现在较大模型中的扩展行为并理解其应用。imagebind是朝着以严格的方式评估它们并展示在图像生成和检索方面的新应用的一步。