3分钟教你本地跑大模型！Ollama 入门教程（支持 DeepSeek、Qwen、LLaMA3）

Ollama 简介

Ollama 是一个轻量级的本地大语言模型运行平台，主要特点包括：

• 开箱即用：一行命令即可下载并运行大模型，如 ollama run llama3
• 支持多种开源模型：如 LLaMA 3、Mistral、Gemma、Qwen、Phi 等
• 本地推理：无需联网，数据私密安全
• 提供 REST API：便于二次开发、嵌入应用

本质上它是一个 面向开发者的本地模型管理与推理引擎。

安装

官网：https://ollama.com/

安装：

• macOS: brew install ollama
• Windows: 下载 OllamaSetup.exe，点击安装
• Linux: curl -fsSL https://ollama.com/install.sh | sh

启动服务：

ollama serve

下载与运行模型

以qwen2.5为例：

ollama run qwen2.5

默认为7b，即70亿参数

Chat GUI

推荐：

• 浏览器插件：Page Assist
• Open WebUI

todo:

• 创建自定义模型
• API 使用