手机上部署AI大模型：支持Llama，QWen，Gemma，Deepseek，完全免费开源！

AI大模型在PC端上部署早已司空见惯，标准环境基本上都是：Ollama+AnythingLLM+HuggingFace+AI大模型版本。如何能在手机客户端上部署AI大模型呢？今天就带大家一起来实际操作一下。

部署肯定离不开安装包，咱们以github上的一个开源项目PocketPal为例，给大家演示如何完成安装与配置过程。小白也能操作明白如何利用手机调用这些大模型进行对话和问答，无需连接云端。

保护隐私的同时大幅降低延迟，对喜欢AI的用户是个非常好的实用软件工具。部署非常简单，无需任何设置点点手指头下载安装即可。

由于我使用的是安卓手机，这里就跟大家演示一下安卓手机的操作过程。文章结尾附IOS版本下载链接。

Google Store应用商店下载

选择Gemma模型下载

验明身份

主要功能

• 离线AI辅助：无需联网，语言模型直接在设备上运行
• 模型灵活：支持下载并切换多个 SLM，如 DeepSeek R1、Danube 2 和 3、Phi、Gemma 2、Qwen 等
• 自动卸载/加载：应用后台运行时，通过卸载模型自动管理内存
• 推理设置：可自定义模型参数，包括系统提示、温度、BOS 令牌和聊天模板
• 实时性能指标：生成 AI 响应时，可查看每秒令牌数及每个令牌的毫秒数
 

Hugging Face集成

  PocketPal AI 最新版现已与 Hugging Face 模型集成！在应用内可以直接从 Hugging Face Hub 浏览、下载和运行模型。大家可以根据自己手机的配置大小来选择适合自己的AI模型

离线安装包下载

GitHub 项目地址：https://github.com/a-ghorbani/pocketpal-ai/releases/tag/v1.8.12
IOS版本下载链接：https://apps.apple.com/us/app/pocketpal-ai/id6502579498

转自：https://mp.weixin.qq.com/s/OiwEzyyzz4nDAHYB5ttMfw