硬核博主用四台 Mac Studio 打造 AI 集群：1.5TB 同一内存、总价接近 4 万美元

此次测试中，Jeff Geerling 将 4 台配备同一内存的 Mac Studio 组合成一个“集群”，合计达到 约 1.5 TB 的内存池容量（每台机械共享内存，看起来像是拥有一块巨大年夜的虚拟内存）。

Jeff Geerling 的实践展示了 macOS 平台上借助 Thunderbolt 5 RDMA 构建协同大年夜内存 AI 计算集群的可能性。对于研究者和开辟者来说，它代表 一种在桌面级硬件上实现超大年夜范围模型运行的新思路，尤其是在不依附大年夜量 GPU 的情况下。尽管另有一些工程与生态限制，但这一进展对于本地 AI 开辟、HPC 协同计算都有重要参考价值。

YouTube 博主 Jeff Geerling 近日宣布了一篇博文和一段视频，具体介绍了他应用 Mac Studio 打造 AI 集群的体验，重要展示了 Thunderbolt 5 接口在集群计算中的应用。

苹果最新 macOS 26.2 中参加了 RDMA（Remote Direct Memory Access） over Thunderbolt 5 支撑，这让多台 Mac Studio 可以或许像共享同一块大年夜内存一样协同工作。

简单来说，应用 RDMA，数台 Mac Studio 之间可以直接在内存层面高速交换数据，延迟明显降低（明显优于传统收集传输方法）。

用处与机能亮点

• 该内存融合技巧对 运行超大年夜 AI 模型有明显晋升，特别是模型参数巨大年夜的推理义务上表示出更流畅的数据交换。

• RDMA 让各台机械间的数据拜访延迟从数百微秒降到几十微秒级别，极大年夜改良了协同计算效力。

• 应用开源项目 Exo 1.0 治理集群内的义务分派与内存共享，是实现协作运行的重要对象。

实际设备与成本

• 这套四机集群的硬件成本接近 4 万美元，重要由 Mac Studio 本体构成。

• 单机运行本身就具有异常强的机能表示：M3 Ultra Mac Studio 在多核计算和 AI 推理义务中不弱于某些专业办事器。

下面是一些机能测试比较：

固然 RDMA over Thunderbolt 5 是一项令人振奋的进展，但当前仍有一些限制，比如须要手动启用 RDMA，且设置过程比较繁琐。此外受限于 Thunderbolt 连接拓扑，今朝最多只能经由过程点对点方法交叉连接最多 4 台机械。比较传统企业级互连（例如 QSFP 或 InfiniBand），Thunderbolt 的物理插拔与连接方法还不敷成熟。