nVIDIA

英伟达退出与亚马逊云科技竞争后重组云计算团队

据多位知情人士及一份内部备忘录透露,两年多前,英伟达首席执行官黄仁勋曾提出愿景,计划打造一项可与亚马逊云科技(AWS)抗衡的云计算服务;如今,英伟达已放弃与这类企业的直接竞争,并于上周对公司云计算团队进行了重组。

NVIDIA创造新技巧KVTC 内存应用量缩减20倍

NVIDIA研究人员推出一项全新技术KVTC(KV快取转换编码),能把大型语言模型(LLM)追踪对话历史的内存用量,最高缩减20倍,而且不用修改模型本身。这一突破有望解决大型语言模型长对话推理时的内存不够用问题,大大降低企业使用AI的硬件成本,同时还能把模型首次生成回应的时间,最高提速8倍。