零费用、傻瓜式,本地部署谷歌大模型,没网也能Vibe Coding
- 免费干货
- 2天前
- 23热度
- 0评论
遇事不决先问豆包的男女老少们,把AI编程当“赛博钓鱼”的中登们,
五一的飞机上,你是否会因为没网用AI,而抓耳挠腮?
你是否会因为龙虾烧出的Token账单面红耳赤?是否会因为泄露隐私数据泄露的风险忐忑不安?
你是否考虑过,让大模型在自己的手机/电脑上离线运行?
过去,似乎只有爱动手实践的专业极客 和 动机不纯的猥琐朋友,才会去折腾本地部署。
但最近部署了谷歌的Gemma模型玩了下,改变了我的想法:
它能力够强,不算智障;
而且几乎无技术门槛、无任何费用,无需魔法,无需排队。
是时候向“领导”去申请采购新电脑一台了,不然今年就来不及“Gei Ta AI”了。
本期要点:
- 用LM Studio,零基础傻瓜式,在自己的电脑本地部署开源大模型
- 实测谷歌Gemma 4: 可能是能装在你手机/电脑本地的最强模型
- 在Open Code,用本地模型生产的token来Vibe Coding
啥叫本地部署呢?如何本地部署?
咱用豆包,虽然APP在我们手机上,但真正思考的大脑其实远在豆包的数据中心,咱的对话、咱的数据得通过网络传到人家数据中心,并在那里处理。
本地部署,就是说把大脑装在咱自己的电脑/手机里,对话、数据都不用传到网上,直接用自己电脑的算力输出结果。
当然,个人电脑的配置跟人家数据中心的没得比,能装在自己电脑里的大模型,能力和装在数据中心的也没得比。
小白想玩本地部署,最简单的方式就是去下载个LM Studio:

下载完,安装好,首次使用,它就会根据你的电脑配置,建议你下载适配的大模型:

不过它的建议给得比较保守,你可以去Model Search,能搜索到所有主流的开源大模型,都可以直接免费下载使用,下载速度也还不错。

它会介绍每个模型的能力,以及你电脑带不带得动。
下载完成后,在My Model能看到,点这个Use in New Chat,就可以像用豆包一样,可是跟它对话。

为什么是谷歌Gemma 4?
在LM Studio的模型库中,有这么多种模型,DeepSeek的、阿里千问的、Kimi的、智谱的(当然能在个人电脑上跑的都不是“满血版”),为什么选了谷歌的Gemma 4呢?
Gemma 4和之前我们介绍过的Gemini同出一脉,它是谷歌今年4月新推出的专为个人电脑和手机本地部署而设计的AI大模型。
谷歌将其描述它是模型性能和模型尺寸的极致之选,能力比它强的,你电脑带不动:

Gemma 4有四个规格,参数量从23亿到307亿,其中E2B、E4B适用于手机甚至树莓派这样的设备,26B 和 31B适用于配置较好的个人电脑(内存32G以上,显存8G以上 )。
它具备推理能力,有支持256k tokens的长上下文处理能力,支持图片和视频识别,能用于Agent开发和编程,支持包括中文在内的超过140种语言。
在Huggingface的排行中,它的综合文字能力排在Claude sonnet 4.5之后。在开源模型中比它强的只有GLM5.1和GLM5,但你既没法把他们装进自己的电脑里,又抢不到他们家的Coding Plan会员。

高能预警:接下来的实测均是在断网的情况下完成。
测试1:推理和文本生成
我故意给的非常简单、主题小众的提示词,它通过推理正确理解的意图。

我这个电脑配置勉强能跑26B的版本,生成速度明显比在线用豆包慢,不过也还算能接受。

写完还给补了个后记:

测试2:图片理解
还是用的之前测试Gemini用过的那张我拍的雪地狐狸,但这次咱们同题共答。
一号选手,手机也能带得动的4B版本,答案如下:

2号选手,26B版本,生成的就要更详细些,也增加了emoji。

大家也可以翻翻之前Gemini 3生成的回答,对比一下。
测试3:分析数据文件
我从网上找了个数据集,上传给它。这个数据质量挺差的,入职日期和离职日期字段的规范就不一样,数据日期的格式也不一样。不过数据量不算大,只有500行。

我让26B版本计算历年入职员工的保留率。

跑这个任务有点吃力了,风扇狂转,几分钟后才有答案。
它对问题理解能力是OK的,
理解数据列的含义也是OK的,并且发现了异常数据:

还给出了结论和管理建议。

但是!没告诉我数字。
它一开始输出的是Excel公式和Python程序,但在LM Studio没法执行程序,给出结果数字。
在我的再次要求下,它还是一行一行数出来了:

如何用本地算力AI编程?
LM Studio,类似于网页版DeepSeek,只能对话,虽然也能写程序,但没法执行。
大模型还需要有可以指挥的“手脚”,才能真正“干活”,越来越好用的“手脚”现在层出不穷,比如之前演示用过的Trae、Claude Code、Work Buddy、Cursor;以及最近热议的“小龙虾”、“爱马仕”。
这次演示,我使用的是开源平替OpenCode ,它可以通过LM Studio的接口,调用部署在本地的大模型,用自己电脑的算力编程,并执行。
Open Code在这里下载:https://opencode.ai/zh
安装也是没有任何难度。
配置步骤:
1.把LM Studio的接口服务打开。
在Developer>Local Server,把这个状态开关打开,让LM Studio可以对外提供算力。
在Server Settings中点Manage Tokens。

这里的Token说的是API的密钥,不是我们平时说的大模型“词元”。
不过不重要,点 Create token就是了。

这串字符复制下来,后面有用。

2. 点这个“Load Model”,把要给Open Code调用的模型给加载上,

3.进入Open Code,在输入提示词的对话框下面,有个选模型的地方,点“+”号。

搜索连接提供商,输入LM Studio,点右边的加号

把刚才复制下来的密钥(Token)贴进去:

接下来是唯一有点难度的一步:
去这个文件夹:C:\Users\你的用户名\config\opencode
找到这个opencode.json这个文件,并用记事本打开:
下图中红框的这部分,替换掉原有的部分:

然后就大功告成了。
我们在Open Code的对话框是输入指令,让它开发一个HTML。

然后我们就能在LM Studio这边看到,大模型处理起了Open Code那边过来的提示词:

然后开始生成回答:

不过,我的电脑跑这个任务跑了十多分钟,已经谈不上有可用性了。
回到Open Code这边,我们看到了答案,以及生成好的网页文件。

打开一看:

大家可以对比下我前几天发的网页编写效果对比。
Gemma写的是不是和Gemini写的几分相似?
就是这么简单。
理论上也能用本地大模型生成的Token养虾,但我不养,在养的朋友试过吗?
转自:https://mp.weixin.qq.com/s/euHuUzVmQ9EGAZfmUaxlIw