🧭这个分类到底在解决什么问题
先建立判断框架,再挑选工具——顺序反过来会浪费大量时间
这个分类混着两类完全不同的东西:模型本身(Llama、GPT、豆包大模型、混元等基础模型)和用模型的工具(Ollama、Cherry Studio、魔搭社区等)。对绝大多数人来说,重要的不是「训练一个模型」,而是「怎么在本地或云端方便地用上这些模型」。
一个成本判断:微调(Fine-tuning)的实际收益,通常被高估了。在动手微调之前,先穷尽三个更便宜的方案——优化提示词、给足上下文示例(Few-shot)、加检索(RAG)。实践中这三个方案能解决 80% 以上的「模型不懂我的业务」问题,而微调需要的数据准备、成本投入和后续维护都高一个量级。
本地部署的真正价值在数据不出本机和离线可用,代价是硬件投入与维护成本。如果你的数据不敏感,云端 API 通常是更划算的选择——除非你确实需要极高调用量或完全离线。
🎯选型三步走
任何工具都先过这三道判断,能筛掉 80% 的错误选择
⭐精选 6 款详解
每款配真实产品界面图(点击可放大)、适合人群与上手要点。点标题右侧按钮直达官网。
Ollama适合:想在本地一键跑开源模型、注重数据隐私的开发者
Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具,允许用户下载并本地运行像Llama 2、Code Llama和其他模型,并支持自定义和创建自己的模型。该免费开源的项目,目前支持macOS和Linux操作系统,未来还将支持Windows系统。
- 先按显存选模型规模:小显存优先跑量化版本,跑得动比跑得大重要。
- 用 Modelfile 定制系统提示词与参数,把常用的角色设定固化成你自己的"模型",不用每次重新交代。
- 本地跑通后接上本地界面(如 Cherry Studio)或 API 客户端,体验接近云端产品。
魔搭社区适合:国内开发者,需要模型下载、在线体验与部署一站式服务
魔搭社区(ModelScope)是阿里巴巴达摩院推出的综合性的人工智能模型共享与服务平台,为构建一个开放、高效、易用的AI模型生态,为开发者、研究人员和企业用户提供一站式的模型获取、部署和应用体验。
- 先用「在线体验」快速筛模型,确认效果符合预期再下载部署,能省掉大量无效下载。
- 关注模型的许可协议:标称开源不等于可商用,正式项目务必看清条款。
- 配套的 Notebook 环境适合做模型对比测试,同一批数据跑多个模型出对照表。
Cherry Studio适合:想要一个统一客户端管理多家模型 API 的个人用户
Cherry Studio 是集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的开源全能 AI 客户端助手。Cherry Studio支持 Windows、macOS 和 Linux 系统,降低技术门槛,让零基础用户也能快速上手,同时为开发者提供强大的扩展能力。
- 把常用的几个模型 API 都配进去,同一个问题可以快速切换模型对比答案。
- 把知识库(本地文档)挂上,做成自己的资料问答助手,这是它最有价值的用法。
- 对不同任务建立不同的助手预设(写作用一个、代码用一个),避免提示词每次都重写。
Llama 3适合:需要可控、可私有化部署的开源基础模型
Llama 3是Meta公司最新开源推出的新一代大型语言模型(LLM),包含8B和70B两种参数规模的模型,标志着开源人工智能领域的又一重大进步。作为Llama系列的第三代产品,Llama 3不仅继承了前代模型的强大功能,还通过一系列创新和改进,提供了更高效、更可靠的AI解决方案。
- 选型时看「参数规模 + 上下文长度 + 许可条款」三项,而不是只看跑分。
- 中文任务上,中文语料占比高的微调版本通常明显优于原版,优先找社区中文增强版。
- 生产使用前用你自己的真实任务做一轮评测,公开跑分和实际表现经常不一致。
GPT-4适合:需要最强通用能力、不想自己维护基础设施的团队
GPT-4(Generative Pre-trained Transformer)是 OpenAI 开发的自然语言处理模型 GPT 家族中的第四个版本,该模型依靠强大的神经网络来理解和生成类似人类的语言。
- 不在本地部署的场合下,云端旗舰模型通常比自己维护开源模型更省总成本(算力 + 人力)。
- 把模型名做成配置项,方便后续升级到新版本,避免硬编码。
- 敏感数据上云前先脱敏,或评估企业版的隐私条款与数据保留政策。
Gradio适合:需要为自己的模型 / 功能快速做一个演示界面的开发者
Gradio是一个开源的Python库,用于构建演示机器学习或数据科学,以及web应用程序。用户可以使用Gradio基于自己的机器学习模型或数据科学工作流快速创建一个漂亮的用户界面,让用户可以尝试拖放他们自己的图像、粘贴文本、录制他们自己的声音,并通过浏览器与您的演示程序进行交互。
- 几行代码就能把函数变成网页界面,是做 Demo 和内部工具的性价比之王。
- 用 Blocks 做多步骤交互(上传 → 处理 → 展示结果),比单一输入输出更接近真实产品。
- 分享链接适合临时演示,正式服务还是要用常规 Web 框架部署。
🛠️实操演示
从零到成品的完整步骤,照着走一遍就能上手
实操演示:把「通用模型」变成「懂你业务的模型」的完整决策流程
演示工具:从提示词到微调的递进路径
- 1第 0 步:先把任务定义清楚
写清输入是什么、输出要什么格式、什么算做对。没有明确标准的任务,换任何模型都做不好。这一步花 30 分钟,能省几天。
- 2第 1 步:优化提示词
用五段式重写提示词,把业务规则、专业术语定义、输出格式要求全部写进去。多数情况下,做到这一步效果已经有明显改善。
- 3第 2 步:给示例(Few-shot)
在提示词里放 3–5 个「输入 → 正确输出」样例。这是性价比最高的一步,尤其对格式要求严格的任务,效果往往超过换模型。
- 4第 3 步:加检索(RAG)
如果问题在于「模型不知道我们公司的资料」,就把资料做成知识库,在提问时检索相关片段一起给它。这一步解决的是知识缺失,不是能力缺失。
- 5第 4 步:换更合适的模型
同样是通用模型,不同厂商在中文、代码、长文本、推理上的强弱不同。横向测 3 个模型,很可能其中一个直接达标。
- 6第 5 步:最后才考虑微调
当前四步都做完仍不达标,且你手上有几百到几千条高质量标注数据时,才考虑微调。同时评估:数据准备成本、训练成本、每次基础模型升级都要重训的维护成本。
⚠️避坑清单
这些坑几乎每个人都会踩一次,提前知道能省下不少成本
- 别把「训练大模型」当入门项目:从零预训练一个可用的大模型,成本以百万美元计。个人和中小团队的现实选项是「用现成模型 + 微调」。
- 开源 ≠ 免费商用:不少模型有商用限制或需要额外授权,商业项目上线前把许可条款读完。
- 本地部署的隐性成本:硬件、电费、运维、模型更新,全都要算进去。算总账时,云端 API 常常更便宜——除非数据不能出本地。
📋该分类完整清单(27 款)
按收录顺序排列,查看全部 16 个分类总表
| # | 工具名称 | 一句话说明 | 直达 |
|---|---|---|---|
| 1 | Jev | TypeSafe AI 推出的 AI 结构化决策模型 | console.typesafe.ai |
| 2 | 豆包大模型 | 字节跳动推出的AI大模型家族,包括视频生成、语音视觉、通用语言模型等 | volcengine.cgref.cn |
| 3 | Nano Banana | 谷歌推出的图像生成与编辑模型 | deepmind.google |
| 4 | Cherry Studio | 开源全能 AI 客户端助手 | cherry-ai.com |
| 5 | Ollama | 本地运行Llama和其他大语言模型 | ollama.ai |
| 6 | Seedance | 字节跳动 Seed 团队推出的多模态 AI 视频生成模型 | volcengine.cgref.cn |
| 7 | 魔搭社区 | 阿里达摩院推出的AI模型社区,超过300+开源AI模型 | modelscope.cn |
| 8 | Dataify | 数据采集API、高质量数据集、代理资源服务一体化供应 | dataify.com |
| 9 | 无阶未来 | AI应用与弹性算网平台 | aivinla.com |
| 10 | AutoGPT | 爆火的实现GPT-4完全自主的实验性开源项目,GitHub超10万星 | agpt.co |
| 11 | Jan | 本地运行大模型并进行AI对话的工具,免费开源 | jan.ai |
| 12 | AgentGPT | 在浏览器中组装、配置和部署自主人工智能的开源项目 | agentgpt.reworkd.ai |
| 13 | OpenBMB | 清华团队支持发起的大规模预训练语言模型库与相关工具 | openbmb.org |
| 14 | Llama 3 | Meta最新开源推出的新一代大模型 | llama.meta.com |
| 15 | Gemma | 谷歌推出的新一代轻量级开放模型 | ai.google.dev |
| 16 | 腾讯混元大模型 | 腾讯研发的大语言模型,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力 | hunyuan.tencent.com |
| 17 | 书生大模型 | 上海人工智能实验室推出的系列AI模型 | intern-ai.org.cn |
| 18 | 讯飞星辰MaaS | 一站式AI大模型体验、调用、部署、精调平台 | maas.xfyun.cn |
| 19 | GPT-4 | OpenAI旗下最新的GPT-4模型 | cn.bing.com |
| 20 | DALL·E 3 | OpenAI旗下最新的图像生成模型 | cn.bing.com |
| 21 | 文心大模型 | 百度推出的产业级知识增强大模型 | wenxin.baidu.com |
| 22 | LLaMA | Meta(Facebook)推出的AI大语言模型 | github.com |
| 23 | 悟道 | 智源“悟道”大模型,中国首个+世界最大人工智能大模型 | baai.ac.cn |
| 24 | MiracleVision奇想智能 | 美图推出的AI视觉大模型,支持AI图像、设计和视频创作 | miraclevision.com |
| 25 | Gradio | 开源的搭建机器学习模型UI界面的Python库 | gradio.app |
| 26 | DeepFloyd IF | StabilityAI旗下的DeepFloyd团队推出的图片生成模型 | deepfloyd.ai |
| 27 | Cohere | 构建AI产品的大语言模型平台 | cohere.com |





