flyws's recent timeline updates
flyws

flyws

V2EX member #150150, joined on 2015-12-06 02:21:46 +08:00
Today's activity rank 3713
flyws's recent replies
4 days ago
Replied to a topic by 1258 程序员 qwen3.8 27B 被低估了
@tisswb 慢,也可以说很慢,我跑的是 ollama 的 mtp fp8 版,我没有细测,体感应该就是 10 tok/s ,加上 qwen 这一款默认比较长的思考链(但优点就是想得细致和全面),做起任务来基本都是按分钟计。dgx spark 拿来纯推理是浪费钱,但是如果你也会玩玩 pretrain 或者 finetune 的话,需要英伟达生态做实验的话,它的 tensor 算力还是合格的。而且因为 128G 显存我也拉满了上下文。

但是令我惊喜的是我等了比如 5 分钟,它真的把任务 one shot 完成了(其他更多参数的 AI 可能会 fail 同样的任务),所以目前的使用体感是只要等得起,可以基本放心交给它,我个人使用反正也不急。

跟前面某一楼提到的一样,就是水平到了这样的一个阶段,很难去评判它是比某一个模型强还是弱,但虽然很难量化,但是确实让我惊喜,会开始让我更加信任本地小模型,这在之前是没发生过的事情。昨天晚上它连上 craft agent 然后它自己 one shot 成功更新了我的定制化安装,有点厉害。
5 days ago
Replied to a topic by 1258 程序员 qwen3.8 27B 被低估了
Qwen3.8 27B 确实很不错,我使用几天了,在 DGX Spark 上面的问题除了慢,还真挑不出了,对于我的一个改 PDF 的 use case ,它表现达到了 opus 水平,完成了我的要求。同样的 prompt 扔给 DeepSeek v4 Flash ,GLM 5.2 ,Kimi3 都没有做出来(都忽略了保持背景颜色一致)

我并不是想表达 Qwen 3.8 27b 暴打更大的模型,但是当我本地跑起来 Opus 级别的模型的时候,确实有一种原子弹爆炸的感觉。我觉得没有被低估,只是本地跑 AI 模型的可能还是少数,但是我相信未来这会变成大多数(都说 token 类比水电煤了,自己发电不好吗
刚好在学一些相关的英文书,然后试用后可以看出作者的这个中文版互动学习做得真的很不错,特地来评论支持。

不过好奇问一句这个的设计是先有中文版再翻译成英文,还是其他步骤?英文阅读了之后我感觉中文的表达比英文好很多,英文看起来像是按照中文翻译出来的,不过我也可能猜错了
很久之前看到这种我也不理解,但当工作上干起牛马活来的时候才发现这很正常,其实包括我在内,上面很多评论都已经提到点上了——就是碰到同事分享的、自己碰到的等等一些需要阅读的网页/视频/播客,或者是同时进入几个项目我知道这些页面过几天还得打开,但是当下状态不想读/读不了那么长的内容,那就放那了。

我个人觉得这有点类似之前 GTD ( Getting Things Done )的哲学,这些标签页就类似于扔到了 inbox 里面,等后面大脑有带宽的时候再来处理。这样一来就衍生出了 Tab Groups 、不同窗口、不同浏览器之类的标签型玩法,帮助后面迅速从“图书馆”里抽出相关 context 来
Jan 6, 2025
Replied to a topic by lifehz Apple mac air m1 能搭 deepseek v3 吗?
Deepseek v2.5 或者 Qwen 这些目前本地更有戏,这些在排行榜上我记得都接近老的 GPT-4 ,不过即使 Q4 的话大概都需要 8 ~ 10G 内存,所以其实现在 Macbook 统一显存内存后,运行 LLM 最大的卡点还是到底有多少内存,想玩遍主流各种大模型的话,最好还是拉满 128G ,至少也得有个 16G ,不然大多数模型都跑不起来。

本地跑 LLM inference 还是很有意思的,比如高铁或者飞机上想写点代码但是网络不稳定,那本地有个 Deepseek 2.5 级别的编程助手已经是很提升效率了。

建议楼主可以下载个 LM Studio https://lmstudio.ai ,方便自己开始研究实操这些
GPT-4 使用稍微修改一下的 Prompt + Wolfram Plugin 可以一次正确解答出来🙆。这是不是就像一个逻辑霸主找到了一个数学计算小王子,两两结合的力量?另外不确定 Bing 是怎么直接创造出来正确答案的,我怀疑是他的训练数据里面带了这个,不然从大语言模型原理,我无法理解他怎么一次性做对的。

Prompt:
请问,如何使用 3 、3 、7 、7 四个数字算出 24 ?

要求:
1. 每个数字必须使用一次,且只能使用一次
2. 只能使用加减乘除和括号。
对于喜欢偏接地气风格的朋友们,强烈推荐田野上的繁荣 https://space.bilibili.com/588278127/
已经直接购买支持!继续加油!
顶一波,非常喜欢这个创意。
Dec 10, 2020
Replied to a topic by Microkernel 职场话题 Offer 选择问题
推荐留美,身边留下来的同学即使对一开始的公司或者 role 不是太满意,两三年后都基本上跳到了更高的地方,甚至是 dream company 。

1 ) 从技术增长上来看,美和中当中选一个,新加坡的 IT 氛围不如中;
2 ) 从薪资上来看,也是美中当中选一个,美中税高但是天花板高,这取决于你是考虑就看这么前一两年还剩看到了五年十年;
3 ) 新加坡的核心行业是金融,但 IT 是硅谷甚至是中国一些城市的核心地位的行业;
4 ) 并且以后你要去新加坡可以找个工作办个 EP 都能去,但是美国的那些巨头的话,你去了新加坡再想回闯硅谷是难上加难,属于后悔也难有办法回头的,但是去新加坡可以。

到了担心身份的时候,你再考虑去个加国、澳国或者新加坡这些找个工作(并且你美国有工作了再跳这些地方,package 比你应届生好谈多了,即使你就在 oracle 工作了一年)。

如果工作内容难分秋色,你都觉得有兴趣,税后薪资也没有一边有压倒性优势的话(就是没有 low ball 你或者羞辱性的 offer ),建议这个问题可以短痛,留美。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2938 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 105ms · UTC 14:36 · PVG 22:36 · LAX 07:36 · JFK 10:36
♥ Do have faith in what you're doing.