推理加快新选择！Xinference 1.16.0 支撑瀚博 GPU 与持续批处理
Xorbits Inference（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模...
微信小程序
微信扫一扫体验
投稿
微信公众账号
微信扫一扫加关注
顶部