V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
civet
V2EX  ›  程序员

在 Token 消耗上, 2 个空格比 4 个空格缩进更省吗?

  •  
  •   civet · 2 小时 46 分钟前 · 778 次点击

    不是 Tabs vs Spaces 的圣战,是用 AI 之后,代码缩进转化成 Token 的问题。

    AI 的解释是:

    2 个空格可能被识别为 1 个 Token
    4 个空格也可能被识别为 1 个 Token
    但如果层级很深,差距越大:
      2 空格缩进:第 4 层 = 8 个空格(约 2~4 个 Token )
      4 空格缩进:第 4 层 = 16 个空格(约 4~8 个 Token )
    

    不知道是不是火星了,如果是讨论过的话题请告知。

    3 条回复    2026-04-09 15:37:12 +08:00
    tradzero
        1
    tradzero  
       2 小时 41 分钟前
    https://platform.openai.com/tokenizer
    这里不是有在线分词机吗 自己试试咯
    MoRanjiang
        2
    MoRanjiang  
       2 小时 15 分钟前
    我觉得这是 agent 工具需要解决的问题,用户就别管这些了
    r6cb
        3
    r6cb  
       1 小时 6 分钟前
    减少行数更能省 token 。如果你截获了各种编程工具的 api 请求,会发现每行前面还会加→。更别说还能直接省掉的换行和缩进了。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5442 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 08:43 · PVG 16:43 · LAX 01:43 · JFK 04:43
    ♥ Do have faith in what you're doing.