Unsloth:本地运行与训练模型的桌面应用

人工智能 2026-10-14 10 阅读

Unsloth 是一个桌面应用,让用户在本地运行和训练大语言模型与扩散模型,支持 GGUF、MLX 等格式,覆盖 Windows、Linux 与 macOS。

这个工具是什么

Unsloth 是由 unslothai 维护的开源项目,以 Python 为主要语言,采用 Apache-2.0 许可证。它定位为桌面应用,用于在本地运行和训练模型,官方描述称其为首个可运行与训练模型的桌面应用。技术上支持 Windows、Linux、WSL 与 macOS,并兼容多 GPU、NVIDIA、AMD、Intel GPU、CPU 以及 Vulkan 后端。可处理的模型类型包括 LLM、MLX、GGUF、扩散模型、决策模型、嵌入模型与音频模型,并列出 Qwen3.8、DeepSeek-V4、Gemma 4、FLUX 等具体模型。

核心能力

  • 支持在本地运行和训练 LLM、MLX、GGUF、扩散、嵌入与音频等多种模型
  • 兼容 Windows、Linux、WSL 与 macOS,并支持多 GPU、NVIDIA、AMD、Intel GPU、CPU 及 Vulkan 后端
  • 提供 Agents 与工具集成,可配合 Claude Code、Codex 与 MCP 使用本地模型,支持工具调用与代码执行
  • 内置搜索与 RAG 能力,包括私有无限网页搜索、深度研究、自动压缩滚动上下文窗口与 RAG

科研中的典型用法

  • 在本地加载并运行 Qwen3.8、DeepSeek-V4、Gemma 4 等模型进行推理与对话
  • 使用本地模型配合 Claude Code、Codex 或 MCP 完成工具调用与代码执行任务
  • 运行和训练图像与视频扩散或多模态模型,例如 FLUX 与 Qwen-Image-2.1

快速上手

可从官网或 GitHub Releases 下载对应系统的原生桌面应用,支持 Windows、macOS、Linux(deb、AppImage)及 ARM64 版本。也可手动安装:macOS、Linux、WSL 执行 curl -fsSL https://unsloth.ai/install.sh | sh;Windows 执行 irm https://unsloth.ai/install.ps1 | iex。此外提供 Docker 镜像 unsloth/unsloth、Homebrew 与 Winget 安装方式。

生态与相近工具

同领域有 Ollama、LM Studio 等本地模型运行工具,以及各类微调框架。Unsloth 的特点在于同时覆盖运行与训练,并支持扩散、嵌入、音频等更多模型类型,还集成 Agents、MCP 与 RAG。若只需简单推理,可考虑更轻量的工具;若需在本地训练或使用多种模型类型,Unsloth 的桌面形态与多后端支持更合适。

项目信息


本文属于《学科研究工具知识库 · 人工智能》第 6 篇(按 GitHub 星标排序)。收录标准:该学科公开可获取的开源研究工具,星标与活跃度为主要参考,不代表对其性能或适用性的背书;选型前请结合自身场景评估。

评论 共 0 条

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部