四台Mac Studio合体变身AI集群 1.5TB内存、硬件成本近30万

在Geekbench 6的多核测试中，该集群轻松超出了Dell Pro Max with GB10和Framework Desktop，双精度浮点数机能更是达到了1TFLOPS以上，而闲置功耗低于10W。

在AI推理方面，单机运行Llama 3.2 3B模型时，每秒可处理154.6个token；在运行大年夜型Llama 3.1 70B模型时，每秒可保持14.1个token，这两个测试的机能都远超其他敌手。

此外，在测验测验运行DeepSeek R1 671B超大年夜型模型时，其他体系均无法正常运行，而Mac Studio 集群凭借其1.5TB的同一内存，完成了这一挑衅。

RDMA over Thunderbolt 5在这个AI集群中发挥了关键感化，在启用RDMA后，内存拜访延迟从TCP的300微秒降至50微秒以下。

在应用exo体系测试Qwen3 235B时，四台设备每秒可处理31.9个token，比llama.cpp TCP快了一倍以上；DeepSeek V3.1更是达到了每秒32.5个token。

固然RDMA表示出色，但在高负荷时有时会出现体系崩溃的情况

别的值得留意的是，由Mac Studio构成的AI集群总硬件成本约为40000美元（约合人平易近币28万元），比拟其他两个平台，这一价格更贵。