推理加快新选择！Xinference 1.16.0 支撑瀚博 GPU 与持续批处理

应用介绍

🚀 Xinference v1.16.0 更新日记

Xorbits Inference（Xinference）是一个 机能强大年夜且功能周全的 分布式 推理框架。可用于大年夜说话模型（LLM），语音辨认模型，多模态模型等各类模型的推理。经由过程 Xorbits Inference，你可以轻松地 一键安排你本身的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者，开辟者，或是数据科学家，都可以经由过程 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。 Xinference 的功能和亮点有：

• 🌟 模型推理，易如反掌：大年夜说话模型，语音辨认模型，多模态模型的安排流程被大年夜大年夜简化。一个敕令即可完成模型的安排工作。
• ⚡️ 前沿模型，包罗万象：框架内置浩瀚中英文的前沿大年夜说话模型，包含 baichuan，chatglm2 等，一键即可体验！内置模型列表还在快速更新中！
• 🖥 异构硬件，快如闪电：经由过程 ggml，同时应用你的 GPU 与 CPU 进行推理，降低延迟，进步吞吐！
• ⚙️ 接口调用，灵活多样：供给多种应用模型的接口，包含 OpenAI 兼容的 RESTful API（包含 Function Calling），RPC，敕令行，web UI 等等。便利模型的治理与交互。
• 🌐 集群计算，分布协同：支撑分布式安排，经由过程内置的资本调剂器，让不合大年夜小的模型按需调剂到不合机械，充分应用集群资本。
• 🔌 开放生态，无缝对接：与风行的三方库无缝对接，包含 LangChain， LlamaIndex， Dify，以及 Chatbox。

参考

• 中文：https://xinference.cn/release_notes/v1.16.0.html
• 英文：https://xinference.io/release_notes/v1.16.0.html

————————————————————————  ————————————————————————

✅ 本次亮点

• 🧩 瀚博半导体 GPU（VACC）支撑 新增对瀚博半导体 GPU 的支撑，并扩大到 VLM（视觉说话模型） 场景，硬件生态进一步完美。

• ⚠️ Python 版本支撑变革 从本版本开端，不再支撑 Python 3.9，请应用 Python 3.10 及以上版本。

🍎 Apple MLX 后端支撑持续批处理（Continuous Batching） MLX 聊天模型现已支撑持续批处理，可并发处理请求，明显晋升吞吐与并发机能。