本文是《拆解 Palantir:企业 AI 与 FDE 架构指南》第 4 篇。

多模态数据平面 MMDP 是 Palantir 的开放数据与计算架构。它解决的是企业 AI 落地中一个非常现实的问题:数据、计算和模型已经分散在许多平台里,企业不可能为了建设 AI 系统把一切推倒重来。

MMDP 的核心哲学可以概括为:任意数据、任意计算、任意模型、任意环境。

为什么需要多模态数据平面

很多数据平台围绕特定数据库、表格式或计算运行时构建。在范围较窄时,这种设计简单有效;但业务扩展后,系统往往需要同时处理:

  • 结构化表格;
  • 文档和图片;
  • 视频与音频;
  • 实时数据流;
  • 时序数据;
  • 地理空间和几何数据;
  • 传统模型和生成式 AI 模型。

这些数据又需要由不同计算引擎处理,最终共同服务于业务应用和 Agent。单一存储或计算引擎很难覆盖所有场景。

任意数据:开放的数据架构

Foundry 与 AIP 以 Apache Iceberg 作为主要表格式。Iceberg 已经进入 AWS、Google Cloud、Microsoft Azure、Databricks 和 Snowflake 等生态,企业不会被限制在专有格式中。

数据目录既可以由 Palantir 管理,也可以把外部平台的数据注册为虚拟目录和 Virtual Tables。这样,Ontology、应用和 AI 自动化可以使用数据,而不必先复制一份。

开放格式还意味着标准 SQL 工具和分析笔记本能够像访问其他环境一样读写数据。企业可以把 Palantir 放入现有数据网格或 AI 网格中,而不是让它成为新的数据孤岛。

超越表格数据

MMDP 的开放性不仅适用于数据库表,也覆盖媒体、文档、流式数据和地理空间数据。

标准格式可以直接解析,定制格式可以从其他来源补充元数据。流和地理时空数据能够通过并行管道处理,并与业务上下文关联。

无论数据如何接入和转换,底层文件与数据点都可以通过 REST API、Python SDK 和 TypeScript SDK 使用。数据也可以通过导出任务、Ontology Webhook 和源端转换安全同步到外部系统。

任意计算:不绑定单一运行时

Foundry 与 AIP 提供多种批处理、流处理和交互式运行时,例如:

  • Spark;
  • Flink;
  • DataFusion;
  • Polars;
  • DuckDB。

这些运行时运行在基于 Kubernetes 的 Rubix 计算网格上,可以弹性扩缩,并受到统一安全和治理控制。

Ontology 下面的数据转换,以及 Ontology 上面的交互函数,都可以选择适合自己的运行时。平台不要求所有问题都交给同一种计算引擎。

Compute Modules:把已有程序带进来

很多企业的关键算法仍然存在于领域专用软件、历史遗留包或独立可执行程序中。为了采用 AI 就重写这些能力,通常成本过高、风险过大。

Compute Modules 支持 Bring Your Own Compute。团队可以把容器化模型、优化器、运行时和应用接入 Palantir,并与 Python、Java、SQL、Go、Rust 等现代逻辑共同参与工作流。

平台也可以编排外部资源,例如现有模型推理基础设施、Spark 集群、云端优化引擎和本地高性能计算环境。对于 Databricks、Snowflake 等平台,还可以把计算直接下推到原有运行环境。

任意模型:模型选择也是开放的

AIP Model Catalog 可以提供来自 OpenAI、Anthropic、Google、Meta、xAI 等厂商的模型,同时允许企业注册自有模型、微调模型和领域模型。

这些模型可以在数据管道、应用、AIP Logic 和开发工具链中使用。模型访问权限、令牌额度和资源消耗在统一框架内管理,而不是散落在不同团队的 API Key 和脚本里。

任意环境

开放性的最后一层是部署环境。借助 Apollo 和 Rubix,上述数据、计算和模型能力可以运行在不同公有云、本地机房、边缘设备和受限环境中,而不把架构绑定到单一基础设施提供商。

对 AI FDE 的启发

MMDP 代表一种更现实的企业 AI 落地方式:先连接,再演进。

FDE 不应该要求客户暂停已经跑通的生产流程,也不应该以全面迁移作为 AI 项目的前提。更可行的路线是:

  1. 保留现有数据和计算资产;
  2. 用开放接口和虚拟化方式接入;
  3. 把重要能力逐步纳入统一治理;
  4. 在 Ontology 上构建新的应用和 Agent;
  5. 根据价值和风险决定哪些旧系统需要进一步改造。

小结

MMDP 不追求用一个单体平台替代所有系统,而是通过开放格式、数据虚拟化、计算编排、模型选择和跨环境部署,将企业既有资产逐步组织成可复用的运营能力。

参考资料

中文内容来源:https://x.com/oops073111/status/2095356801575506046
官方资料:https://www.palantir.com/docs/foundry/architecture-center/multimodal-data-plane

上一篇:Ontology · 系列总览 · 下一篇:互操作性