V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  zizon  ›  全部回复第 1 页 / 共 21 页
回复总数  408
1  2  3  4  5  6  7  8  9  10 ... 21  
3 月 29 日
回复了 cpalead 创建的主题 deepseek 为什么 deepseek 的源代码只有几个文件?
1. generate.py 描述了数据/权重文件怎么加载的.
2. model.py,尤其 Transformer 类描述了模型结构/层等怎么构成的信息.
3. kernel.py 描述了 2 里用到的一些核心自定义算子.

给你 2+1 类似与给了头文件声明和.so 文件.

开源的是这个.h.

4. 更接近一些你理解的开源的是有些会提供 finetune.py,做微调的.
这个会告诉你一部分真实完整训练场景下,input/训练数据大概长什么样.
理论上,你有可能根据这个数据格式,去完整重新训练一个等价模型,前提是有对应的硬件资源.

但,通常来说 fintune.py 暴露的信息是不够的.
之所以叫微调,也就是因为它只是一部分 input 长这样.

你可以看看 olmo 的 train.py,比较符合你的对开源的想法.
属于一个端到端,理论上你有硬件条件就可以从 repo 完整复刻的开源形态.
https://github.com/allenai/OLMo/blob/main/scripts/train.py

你说 1/2/4 够不够.
也不能说不够吧.

但 pretrain 的 datasource 直觉上还是很影响跟模型交互的语言/prompt 风格的.
因为国内不允许开除孕产哺乳期员工.
所有有了钻这个漏洞的人.
反过来企业会对孕产哺乳期员工增加额外道德风险成本.
容器或者某种 sandbox 隔离的 network namespace 里的进程发起的吧.
3 月 24 日
回复了 Lowlife 创建的主题 生活 遇到那种喜欢自残的女生
这种是真抑郁症吧.
一旦停下来什么都不干就会想死.
3-8 过于细节干扰了吧.
先把 API key 截断了.
3 月 14 日
回复了 fjc0k 创建的主题 分享发现 个人小程序流量主 0 税之法
工商注册又经营范围限定的吧.
不在经营范围的原则上来说不能计入经营收入吧.
3 月 13 日
回复了 chenzhe 创建的主题 支付宝 白帽就这处境了么
要这么说,小程序也算漏洞了.
3 月 10 日
回复了 Cruzz 创建的主题 北京 记一次反诈止付
> 2 月 28 日:给妻子转账一笔数额较大的资金。
> 数额不到百,分了几笔转出
取决于你女朋友/老婆能不能受得了,当你的吵架代理人.
先看判决法条依据是什么才方便还原法院看到的事情全貌.
2 月 28 日
回复了 passive 创建的主题 问与答 几大银行中选择哪个开户?
得有 10 年没回国了吧.
现在基本都是移动 App 了.

没有手机号社保基本不行.
工业革命与世界大战的关系.

没有造成世界大战的称不上工业革命.
2 月 20 日
回复了 giganet 创建的主题 电影 看了张艺谋的新片《惊蛰无声》
用各种鲜艳色彩的时候被说俗,用深圳推几何楼层和环形高架的时候,被说水准不行...
你们总不能一边说着人口结构变化/出生人口降低,一遍期望着各个年龄统计数据在增长吧?
2 月 8 日
回复了 wegbjwjm 创建的主题 微信 微信利用垄断地位作恶
钱包退款和充电消费一样是负的...?
2 月 7 日
回复了 seafog 创建的主题 问与答 为什么有人会不喜欢帮别人抢演唱会门票。
因为抢了不是跟你去看,又拜托你抢,而你也看在对方脸的分上虽然不情不愿但是抢了,然后到 v2 上等某种回复
1  2  3  4  5  6  7  8  9  10 ... 21  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2584 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 06:35 · PVG 14:35 · LAX 23:35 · JFK 02:35
♥ Do have faith in what you're doing.