V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
one121121
V2EX  ›  程序员

做了一个给 AI 智能体做实时安全拦截的开源工具,欢迎来喷

  •  
  •   one121121 · 2 小时 16 分钟前 · 92 次点击
    起因是我在用 Claude Code 的时候,突然意识到这东西有完整权限在我电脑上跑,我完全不知道它下一步会干什么。

    现在 Claude Code 、Cursor 这类智能体工具越来越能干,能直接操作文件、跑脚本、调接口。但出事了怎么办?强制删除系统文件跑了,密钥泄了,一步步看起来没问题的操作组合成了数据外泄链路……

    然后就做了这个: https://github.com/chenglin1112/AgentTrust

    简单说就是在智能体和工具之间加一层保护,每个操作执行前先过安全检查,拦得住就拦,拦不确定就让语言模型来判断,判断有风险就锁住,顺带告诉你怎么改。

    比较有意思的功能是攻击链检测——单独看「读取配置文件」没问题,单独看「发请求到外部地址」也没问题,但两步连起来再加个编码操作就是数据外泄,会被识别并拦截。

    现在已经支持协议原生接入,Claude Code 和 Cursor 配置很简单。

    还很早期,测试集是合成数据,生产环境没验证过。但如果你在跑智能体,可以试试,欢迎来找茬。

    Python 3.9 以上,Apache 2.0 协议。
    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   988 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 18:49 · PVG 02:49 · LAX 11:49 · JFK 14:49
    ♥ Do have faith in what you're doing.