不是 Tabs vs Spaces 的圣战,是用 AI 之后,代码缩进转化成 Token 的问题。
AI 的解释是:
2 个空格可能被识别为 1 个 Token
4 个空格也可能被识别为 1 个 Token
但如果层级很深,差距越大:
2 空格缩进:第 4 层 = 8 个空格(约 2~4 个 Token )
4 空格缩进:第 4 层 = 16 个空格(约 4~8 个 Token )
不知道是不是火星了,如果是讨论过的话题请告知。
1
tradzero 2 小时 41 分钟前
https://platform.openai.com/tokenizer
这里不是有在线分词机吗 自己试试咯 |
2
MoRanjiang 2 小时 15 分钟前
我觉得这是 agent 工具需要解决的问题,用户就别管这些了
|
3
r6cb 1 小时 6 分钟前
减少行数更能省 token 。如果你截获了各种编程工具的 api 请求,会发现每行前面还会加→。更别说还能直接省掉的换行和缩进了。
|