首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Auston
V2EX  ›  问与答

有了解 fast tokenizer 的老哥吗？怎么将 baichuan2-13b 的 tokenizer 转成 fast tokenizer?

  •   
  •   Auston · 2024 年 4 月 20 日 · 1141 次点击
    这是一个创建于 719 天前的主题，其中的信息可能已经有所发展或是发生改变。
    目前在用 vllm 做 baichuan2-13b-chat 模型的推理框架，想进一步加速推理速度，怎么将 slow tokenizer 转成 fast tokenizer 呢？
  • Fast
  • tokenizer
  • 转换
    1 条回复
    Auston
        1
    Auston  
    OP
       2024 年 4 月 23 日
    大佬们，能给个思路吗
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5775 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 06:24 · PVG 14:24 · LAX 23:24 · JFK 02:24
    ♥ Do have faith in what you're doing.