零费用、傻瓜式,本地部署谷歌大模型,没网也能Vibe Coding

摘要: 遇事不决先问豆包的男女老少们,把AI编程当“赛博钓鱼”的中登们, 五一的飞机上,你是否会因为没网用AI,而抓耳挠腮? 你是否会因为龙虾烧出的Token账单面红耳赤?是否会因为泄露隐私数据泄露的风险忐忑不安? 你是否考虑过,让大模型在自己的手机/电脑上离线运行? 过去,似乎只有爱动手实践的专业极客 和...

遇事不决先问豆包的男女老少们,把AI编程当“赛博钓鱼”的中登们,

五一的飞机上,你是否会因为没网用AI,而抓耳挠腮?

你是否会因为龙虾烧出的Token账单面红耳赤?是否会因为泄露隐私数据泄露的风险忐忑不安?

你是否考虑过,让大模型在自己的手机/电脑上离线运行?

过去,似乎只有爱动手实践的专业极客 和 动机不纯的猥琐朋友,才会去折腾本地部署。

但最近部署了谷歌的Gemma模型玩了下,改变了我的想法:

它能力够强,不算智障;

而且几乎无技术门槛、无任何费用,无需魔法,无需排队

是时候向“领导”去申请采购新电脑一台了,不然今年就来不及“Gei Ta AI”了。

本期要点

  • 用LM Studio,零基础傻瓜式,在自己的电脑本地部署开源大模型
  • 实测谷歌Gemma 4: 可能是能装在你手机/电脑本地的最强模型
  • 在Open Code,用本地模型生产的token来Vibe Coding

啥叫本地部署呢?如何本地部署?

咱用豆包,虽然APP在我们手机上,但真正思考的大脑其实远在豆包的数据中心,咱的对话、咱的数据得通过网络传到人家数据中心,并在那里处理。

本地部署,就是说把大脑装在咱自己的电脑/手机里,对话、数据都不用传到网上,直接用自己电脑的算力输出结果。

当然,个人电脑的配置跟人家数据中心的没得比,能装在自己电脑里的大模型,能力和装在数据中心的也没得比。

小白想玩本地部署,最简单的方式就是去下载个LM Studio

官网: https://lmstudio.ai


下载完,安装好,首次使用,它就会根据你的电脑配置,建议你下载适配的大模型:


不过它的建议给得比较保守,你可以去Model Search,能搜索到所有主流的开源大模型,都可以直接免费下载使用,下载速度也还不错。


它会介绍每个模型的能力,以及你电脑带不带得动。

下载完成后,在My Model能看到,点这个Use in New Chat,就可以像用豆包一样,可是跟它对话。


为什么是谷歌Gemma 4?

在LM Studio的模型库中,有这么多种模型,DeepSeek的、阿里千问的、Kimi的、智谱的(当然能在个人电脑上跑的都不是“满血版”),为什么选了谷歌的Gemma 4呢?

Gemma 4和之前我们介绍过的Gemini同出一脉,它是谷歌今年4月新推出的专为个人电脑和手机本地部署而设计的AI大模型。

谷歌将其描述它是模型性能和模型尺寸的极致之选,能力比它强的,你电脑带不动:


Gemma 4有四个规格,参数量从23亿到307亿,其中E2B、E4B适用于手机甚至树莓派这样的设备,26B 和 31B适用于配置较好的个人电脑(内存32G以上,显存8G以上 )。

它具备推理能力,有支持256k tokens的长上下文处理能力,支持图片和视频识别,能用于Agent开发和编程,支持包括中文在内的超过140种语言。

在Huggingface的排行中,它的综合文字能力排在Claude sonnet 4.5之后。在开源模型中比它强的只有GLM5.1和GLM5,但你既没法把他们装进自己的电脑里,又抢不到他们家的Coding Plan会员。


高能预警:接下来的实测均是在断网的情况下完成。

测试1:推理和文本生成

我故意给的非常简单、主题小众的提示词,它通过推理正确理解的意图。


我这个电脑配置勉强能跑26B的版本,生成速度明显比在线用豆包慢,不过也还算能接受。


写完还给补了个后记:


测试2:图片理解

还是用的之前测试Gemini用过的那张我拍的雪地狐狸,但这次咱们同题共答。

一号选手,手机也能带得动的4B版本,答案如下:


2号选手,26B版本,生成的就要更详细些,也增加了emoji。


大家也可以翻翻之前Gemini 3生成的回答,对比一下。

测试3:分析数据文件

我从网上找了个数据集,上传给它。这个数据质量挺差的,入职日期和离职日期字段的规范就不一样,数据日期的格式也不一样。不过数据量不算大,只有500行。


我让26B版本计算历年入职员工的保留率。


跑这个任务有点吃力了,风扇狂转,几分钟后才有答案。

它对问题理解能力是OK的,

理解数据列的含义也是OK的,并且发现了异常数据:


还给出了结论和管理建议。


但是!没告诉我数字。

它一开始输出的是Excel公式和Python程序,但在LM Studio没法执行程序,给出结果数字。

在我的再次要求下,它还是一行一行数出来了:


如何用本地算力AI编程?

LM Studio,类似于网页版DeepSeek,只能对话,虽然也能写程序,但没法执行。

大模型还需要有可以指挥的“手脚”,才能真正“干活”,越来越好用的“手脚”现在层出不穷,比如之前演示用过的Trae、Claude Code、Work Buddy、Cursor;以及最近热议的“小龙虾”、“爱马仕”。

这次演示,我使用的是开源平替OpenCode ,它可以通过LM Studio的接口,调用部署在本地的大模型,用自己电脑的算力编程,并执行。

Open Code在这里下载:https://opencode.ai/zh

安装也是没有任何难度。

配置步骤

1.把LM Studio的接口服务打开。

在Developer>Local Server,把这个状态开关打开,让LM Studio可以对外提供算力。

在Server Settings中点Manage Tokens。


这里的Token说的是API的密钥,不是我们平时说的大模型“词元”。

不过不重要,点 Create token就是了。


这串字符复制下来,后面有用。


2. 点这个“Load Model”,把要给Open Code调用的模型给加载上,


3.进入Open Code,在输入提示词的对话框下面,有个选模型的地方,点“+”号。


搜索连接提供商,输入LM Studio,点右边的加号


把刚才复制下来的密钥(Token)贴进去:


接下来是唯一有点难度的一步:

去这个文件夹:C:\Users\你的用户名\config\opencode

找到这个opencode.json这个文件,并用记事本打开:

下图中红框的这部分,替换掉原有的部分:


然后就大功告成了。

我们在Open Code的对话框是输入指令,让它开发一个HTML。


然后我们就能在LM Studio这边看到,大模型处理起了Open Code那边过来的提示词:


然后开始生成回答:


不过,我的电脑跑这个任务跑了十多分钟,已经谈不上有可用性了。

回到Open Code这边,我们看到了答案,以及生成好的网页文件。


打开一看:


大家可以对比下我前几天发的网页编写效果对比。

Gemma写的是不是和Gemini写的几分相似?

就是这么简单。

理论上也能用本地大模型生成的Token养虾,但我不养,在养的朋友试过吗?

转自:https://mp.weixin.qq.com/s/euHuUzVmQ9EGAZfmUaxlIw