V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Livid
245.03D
520.63D
V2EX  ›  OpenClaw

使用本地模型 Gemma4 来驱动 OpenClaw

  •  
  •   Livid ·
    PRO
    · 17 小时 25 分钟前 · 3108 次点击

    替换下面指令中的 model ID 为你本地 Ollama 里启动的版本。

    openclaw onboard --non-interactive \
      --auth-choice custom-api-key \
      --custom-base-url "http://127.0.0.1:11434/v1" \
      --custom-model-id "gemma4:31b-it-q4_K_M" \
      --custom-api-key "ollama" \
      --secret-input-mode plaintext \
      --custom-compatibility openai \
      --accept-risk
    
    22 条回复    2026-04-05 01:35:12 +08:00
    0U0
        1
    0U0  
       16 小时 59 分钟前
    需要什么配置才能跑得动
    Livid
        2
    Livid  
    MOD
    OP
    PRO
       16 小时 57 分钟前
    @0U0 这里有不同版本,应该总有一个是本地能跑起来的:

    https://ollama.com/library/gemma4/tags
    Visoar
        3
    Visoar  
    PRO
       16 小时 50 分钟前
    Google 搞了个 `Google Al Edge Gallery`,在 iPhone 上直接跑起 e2b/e4b 版本 Gemma4 ...
    试了 e2b 速度很好很顺畅,能力也不错.

    看起来今年端侧小模型要开始卷了

    pkuphy
        4
    pkuphy  
    PRO
       16 小时 39 分钟前 via iPhone
    这个模型真的好用
    senooo
        5
    senooo  
       16 小时 34 分钟前
    手机上的 e2b 2G PC 端的 e2b 7G
    CatCode
        6
    CatCode  
       16 小时 16 分钟前
    @Visoar iPhone 13 提示内存不足。iPad 倒是跑起来了,就是 UI 比较蛋疼。
    v2gba
        7
    v2gba  
       16 小时 14 分钟前
    站长这个得 30+的内存才能跑了吧?
    zivn
        8
    zivn  
       15 小时 42 分钟前
    32G M3 Pro 不论用 mlx 还是 ollama 跑 31b 基本没法用。
    聊天可以,openclaw 直接卡死。
    虽说理论上只要 20G 内存,但 openclaw 上下文太长了,预填充要几分钟甚至十几分钟。
    26b 是 MOE 就没试了,感觉还是 Dense 才有前途。
    zivn
        9
    zivn  
       15 小时 38 分钟前
    mlx 版本在 huggingface 上,mlx-community/gemma-4-31b-it-nvfp4 ,需要用 mlx-vlm 运行。
    huanxianghao
        10
    huanxianghao  
       15 小时 10 分钟前
    很棒。
    在 windows 上面跑了,4070s 跑 26b ,感觉思考时间有点长
    paranoiagu
        11
    paranoiagu  
       14 小时 56 分钟前 via Android
    龙虾的上下文太长了,我 24G 显卡,跑 27B 的 qwen3.5 ,开了 64K 上下文,再大就爆显存了。但是 64K 龙虾不够。
    chipipi
        12
    chipipi  
       14 小时 44 分钟前 via Android
    目前什么设备能跑得动?
    dinjufen
        13
    dinjufen  
       14 小时 41 分钟前
    16G 内存的 mac mini m4 能跑动吗
    zoozobib
        14
    zoozobib  
       14 小时 40 分钟前
    测试 qwen3.5-27b q4 和 gemma4-31b q4 。200K ctx 同样的代码问题,后者一把过,测试用例还是少
    zoozobib
        15
    zoozobib  
       14 小时 39 分钟前
    但前者能跑到 38 /t 后 只能到 33/t
    levn
        16
    levn  
       13 小时 31 分钟前
    27b q4 使用 32G 显存,就可以开 200k 上下文
    31b q4 使用 64G 显存,kv q8 量化都开不到 100k 上下文
    crocoBaby
        17
    crocoBaby  
       12 小时 27 分钟前
    能用度如何?
    learnshare
        18
    learnshare  
       12 小时 27 分钟前
    16G M2 Mac mini 勉强能跑起来低配两个版本,但仅能跑起来,没啥可用性
    以后得买 64G 版本玩一玩了
    sickoo
        19
    sickoo  
       12 小时 15 分钟前
    @dinjufen 跑 mlc 吧
    zoozobib
        20
    zoozobib  
       11 小时 50 分钟前
    新测,加了 2b 的 draft , 提升到 45/t ;Draft 接受率 不错,5 成
    fs418082760
        21
    fs418082760  
       6 小时 11 分钟前
    据说不如 qwen3.5
    hanguofu
        22
    hanguofu  
       56 分钟前
    值得期待 ~
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1011 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 18:31 · PVG 02:31 · LAX 11:31 · JFK 14:31
    ♥ Do have faith in what you're doing.