Ollama保姆级安装使用教程：本地跑AI

前段时间，一位做销售的朋友找上门来，一脸愁容。

他说现在AI这么火，他也想用，可手头的客户资料、报价策略、跟单记录，哪一个不是敏感数据？上传到网上，谁知道会不会被人拿去看了？会不会存在人家服务器上？拿去训练模型了？想想就后怕。他还担心，跟客户聊点私密的事，万一被官方审查人员瞄到了，那可就麻烦了。

这顾虑其实很实在。虽说目前主流AI服务在隐私保护上还算靠谱，但“谁知道呢”这种不确定性，确实让人不踏实。我给他的方案很简单：本地部署大模型——用自己的电脑跑AI，全程离线，数据不出门，安全上没什么好担心的。而且安装使用也不复杂，一学就会。

一拍即合，说干就干。接下来我们就从零开始，把Ollama装到自己的电脑里，把AI大模型部署起来。这篇保姆级教程看完，自己就能搞定。

图1 让Ollama里的Qwen3生成的小故事

Ollama这玩意到底是个啥

简单来说，Ollama就是一个能把AI大模型装到你电脑上跑的工具。它本身只是个壳子，里面可以安装各种大模型——国产轻量化的通义千问Qwen系列、谷歌Gemma系列、Llama3开源通用大模型、DeepSeek深度求索开源大模型，还有专攻数学、翻译、文案创作的各类细分专用模型，全部都能下载到本地离线运行。

它不是网页版，也不是云服务。模型下完存在你本地硬盘里，运行全靠你电脑的CPU和显卡。你问它什么问题，它就在你电脑里算完给你回答，没有一个字发到外网。安全性没得说。而且免费，不用算Token。

你可以把它理解成一个全能的《十万个为什么》，相当于在电脑里装了个百科全书，甚至说是一个图书馆——博古通今，知识渊博。

图2 让本地AI大模型回答自己能干什么

你的电脑能不能用Ollama

先别急着动手，我们来看看你的电脑能不能跑。搞懂几个关键东西，很多人把内存和显存混为一谈，这里先捋清楚。

系统内存（RAM）：就是配置单上写的8G、16G、32G，平常开微信、开浏览器用的那个。跑大模型时，模型得加载到内存里才能运算。没独显的电脑，模型全靠系统内存跑。总体推荐8G以上。

显卡显存（VRAM）：显卡自带的专属内存，跟系统内存不是一回事。N卡一般4G到24G（RTX 3060是12G显存）。显存算得比系统内存快得多。显卡要求：RTX 3060或同等性能显卡（8GB显存以上）可较好运行中等模型；纯CPU无独显也能跑轻量模型，8G内存笔记本不带显卡也能跑qwen3.5:2b。

那具体能跑多大模型呢？

• 8G内存：跑qwen3.5:2b或gemma4:e2b，聊天写短文够用，速度一般。再大的模型能加载但内存会被吃满，开别的软件会卡。
• 16G内存：跑gemma4:4b或qwen3.5:4b。这是2026年最新的模型，逻辑强、长文流畅，还支持识图。gemma4是谷歌刚更新的，回答质量很稳。大多数人选这个，最适合配置一般偏上的电脑。
• 32G内存+5060显卡：gemma4:12b、qwen3.5:9b随便上，写论文写代码不虚。

Ollama安装使用保姆级教程

1.1 Ollama的安装

Ollama的下载安装，跟安装普通软件差不多，下载安装包，然后下一步下一步就能装好。

• 首先用浏览器打开 https://ollama.com/download。网站会自动识别你的操作系统，Windows用户会看到一个大按钮“Download for Windows”，点它下载.exe安装包。最好别去第三方网盘下，不知道会不会下到加料版。
• 下完之后双击打开，弹出安装窗口，点Install，等进度条走完，点Finish。全程不用修改任何选项，傻瓜式安装，下一步策略就能搞定。整个安装过程很快，稍等片刻即可。

安装完毕有两个标志：一是右下角任务栏出现一只小羊驼图标，说明后台服务启动了；二是主窗口会自动弹出来。

图3 Ollama主界面

装好之后它会常驻后台、开机自启，跟微信一样，关了窗口图标还在，双击随时召唤。

1.2 为Ollama安装上大模型

先别急着跟Ollama聊天，现在它只是一个框架，还得给它装上大脑，不然它理都不会理你。下载模型的方式其实很简单，但跟你想的可能不太一样——不是在客户端里搜，而是先去网页上找。

• 第一步：浏览器打开 https://ollama.com/search。这是Ollama官方模型库，所有模型都在这里，国内可访问。
• 第二步：搜索框里输入模型名。比如你想用通义千问，就搜qwen。搜出一堆结果，找到你要的那个版本，比如qwen3.5，点进去。
• 第三步：进模型详情页，找你电脑能跑的规格。页面会列出这个模型所有可选的参数量版本，每个后面标了大小。根据你的内存选：
  • 8G内存：选qwen3.5:4b（4B参数，约2.5GB），下得快启动快，日常够用。回答质量比老款qwen2.5强不少，电脑配置不高的可以先选它试试。
  • 16G内存：选gemma4:4b（谷歌2026最新模型，逻辑强回答稳还支持识图）。也可以同时下个qwen3.5:4b换着用，体积差不多。两个模型各有各的好：gemma4写东西更稳，qwen3.5中文理解更到位，看你自己习惯。
  • 32G内存：选gemma4:12b或qwen3.5:9b，写论文写代码不虚。

插个话：各种级别的大模型能干什么

3B/4B 轻量小模型（8G内存低配电脑）：主打聊天、写短句、翻译、简单作业、日常文案，速度快，复杂逻辑偏弱。

7B 通用主流模型（16G内存首选，如Qwen2.5、Gemma4）：上面全部功能全覆盖，解题、写长文、简单代码、识图都流畅，性价比最高。

代码专用模型（DeepSeek-Coder、CodeLlama）：写代码、排BUG能力拉满，日常聊天能力一般。

超大13B/34B模型（32G内存高配）：超强逻辑推理、长篇论文、复杂数学、深度商业分析，思考更全面精准。

• 第四步：复制模型名。页面上每个规格旁边有个复制按钮，点一下就把模型名复制了，比如qwen3.5:4b。手动选中复制也行。

图4 选中模型名称

• 第五步：修改下边的命令。把你复制的模型名替换这个命令中的XXX：ollama run XXX。比如ollama run gemma4:e4b，复制一下这条命令。
• 第六步：回到Windows，在开始菜单Windows图标处右键，选择“终端管理员”。在终端管理窗口中粘贴刚刚复制的命令，然后按下回车。

图5 选择终端管理员

稍等片刻，就开始下载你所指定的大模型了。下载速度前边飞快，后边慢得像蜗牛，原因不明，只能等。安装完毕后重启Ollama，你就能在对话界面的模型选择中找到刚刚下载好的大模型了，开始对话吧。

图6 把大模型下载回本地

提醒一下，如果不想让你的C盘爆满，可以在Ollama的settings页面中的Model location把模型存放地址修改到其他盘。设置后再下载模型。

图7 设置模型存放路径

顺带提一嘴，Ollama还支持“越狱版”模型，就是经过特殊处理、解除了安全限制的那种。正规大模型碰到某些敏感问题会甩你一句“我无法回答”，越狱版不会。具体怎么装、装哪个，这里不细说，懂的都懂，不懂的自己去搜。

1.3 Ollama的使用

跟旧版不同，新版Ollama已经有了专门的图形使用界面，大幅降低了使用门槛。打开Ollama，就能看到聊天对话界面，右下角有模型选择，选择一个下载好的模型（有云朵标志的为在线模型）。

图8 选择下载好的大模型

在对话框中输入你的问题，然后等AI大模型的回答。回答速度跟你的电脑配置以及选择的大模型有关。有些大模型只支持文字，有些支持图片识别。

图9 让AI识别图片内容

左侧New Chat开新对话，工作私事分开不串。底部下拉框随时切换模型，聊天用轻量的大模型，回复速度快；写方案用高级别的。不用的模型可以删除，腾出磁盘空间。

其他需设置的地方：在Ollama的settings页面中的Context length选项中，可以设置上下文长度。这个值决定模型在生成回复时能“记住”并参考的对话历史、输入文本总量，单位为token。值越大，能容纳越长的对话/文档内容，但会占用更多显存/内存，推理速度变慢；值过小，长对话会被截断，模型容易“忘前文”、回答前后矛盾。

恭喜你！如果读到了这里并照着操作，说明你已经学会了本地大模型的部署和使用。从最初对数据泄密的顾虑，到如今能在本地运行模型，你已经从一个AI的“使用者”，蜕变为一个AI的“掌控者”。

总结一下：本地跑AI，最大的价值在于安全、私有、可控。安装完毕后部署了大模型，你完全可以离线使用。你还可以安装多个不同的模型，把它当成一个“工具箱”，利用各种模型各自擅长的领域：今天用A模型做代码，明天用B模型写报告，后天再用C模型做数据分析。多尝试，你会发现每个模型都有独特的“超能力”。