想用大模型，又不想按 token 付 API 费、也不想把数据传到别人服务器上？Ollama 就是为这个场景生的：一个开源的本地大模型运行工具，一行命令就能把 Llama、Qwen、DeepSeek、Gemma 等主流模型跑在自己的电脑上。它在 GitHub 上拿下 18 万+ Star，是"本地 AI"这个赛道里最受欢迎的开源项目。
这是什么
Ollama 把"下载模型、量化、推理服务"整套流程打包成一条命令：ollama run qwen3，回车，模型就下载好并在终端里跟你对话了。它同时起一个本地 API 服务（默认 11434 端口），并且兼容 OpenAI 的接口格式——原来调 OpenAI API 的代码，改个地址就能换成本地模型跑。
核心功能
- 一行命令跑模型：模型库里有 Llama、Qwen、DeepSeek、Gemma、gpt-oss 等，选好直接 run
- 全平台：macOS、Windows、Linux 都有客户端，M 芯片 Mac 跑得尤其顺
- OpenAI 兼容 API：本地服务直接替换云端接口，开发调试零成本
- 数据不出内网：所有推理在本地完成，隐私敏感场景放心用
- 可定制：Modelfile 可以调系统提示词、温度等参数，打包自己的模型版本
免费吗
完全免费。MIT 协议，开源可商用。模型本身遵循各自的开源许可（大部分主流模型允许商用，具体看模型页说明），工具层面没有任何收费点。
适合谁
- 想零成本体验大模型、不想充 API 费的人
- 做 AI 应用开发，需要本地调试模型调用的人
- 处理隐私数据，不能走公有云 API 的团队
- 配 Dify、ComfyUI 这类工具做本地 AI 工作流的人（本站之前介绍过 Dify）
怎么开始
官网下载对应系统的安装包，一分钟装好；然后 ollama run llama3.1 选个模型，第一次会自动下载，之后离线也能用。模型库在官网能按大小和用途筛选，8B 级别的小模型普通笔记本就能跑。