
GIDS与现有的GDS(GPU Direct Storage)功能有所不合,两者之间是有差别的:在GDS里,CPU在数据传输到GPU之前先向存储设备发出数据请求,而到了GIDS,GPU直接拜访存储设备,中心会跳过CPU和DRAM来实现。
GIDS和GDS都旨在克服传统计算架构中的数据传输瓶颈,传闻微软和AMD也在摸索类似的办法。重要问题照样在于传统的数据传输方法效力较低,CPU在线程处理上构造受限,而GPU则能生成数万个并行线程。今朝GPU-HBM数据传输已占体系总功耗大年夜概一半,这进一步支撑HBF架构,将超高速的NAND闪存更接近GPU,以应对将来的AI瓶颈。
GIDS的出现可能使NAND闪存在AI存储体系中扮演更为重要的角色,同时减轻HBM在容量方面的压力。这种改变须要机能更高的NAND闪存,以便跟上GPU的处理速度。NAND闪存的优势在于位密度,约为DRAM的30倍,在邻近的占用空间下实现了更大年夜的存储容量。
据TrendForce报道,英伟达正在推动GPU直接拜访存储的架构开辟,筹划从Vera Rubin平台引入,启动GIDS(GPU-Initiated Direct Storage Access)功能。外界认为,这一改变可能加快HBF的成长。
可是NAND闪存的经久度有限,而DRAM拥有几乎无穷的写入才能。是以HBF被认为更合适存储AI模型参数,因为这部分数据在推理过程中根本保持不变,仅作为只读工作负载应用。

发表评论 取消回复