这是一个创建于 3988 天前的主题，其中的信息可能已经有所发展或是发生改变。
https://sourceware.org/bugzilla/show_bug.cgi?id=6050
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=328303
用stdbuf -o 0 这么伟大的hack都不能拯救这个渣渣。
zcat myfile | iconv -f gb2312-t UTF-8 | pv > myfifo
观察了n久，pv一动不动！！！！我2G的文件啊！！！
于是果断用一行python代替了iconv
zcat myfile | python -c "for l in __import__('sys').stdin:print l.decode('gb2312', 'ignore').encode('utf8')" | pv > myfifo
用pv >/dev/null试了下效率，速度为40M/s基本跑到了硬盘瓶颈。
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=328303
用stdbuf -o 0 这么伟大的hack都不能拯救这个渣渣。
zcat myfile | iconv -f gb2312-t UTF-8 | pv > myfifo
观察了n久，pv一动不动！！！！我2G的文件啊！！！
于是果断用一行python代替了iconv
zcat myfile | python -c "for l in __import__('sys').stdin:print l.decode('gb2312', 'ignore').encode('utf8')" | pv > myfifo
用pv >/dev/null试了下效率，速度为40M/s基本跑到了硬盘瓶颈。
 |
1
julyclyde 2015 年 5 月 7 日
因为解码算法需要回溯吧？
|
 |
3
est OP 想了下，不对啊。为啥python的就可以pipe。。。
|
 |
4
jarlyyn 2015 年 5 月 14 日
iconv最奇葩的是
nodejs 用pure js实现的iconv-lite库号称比调用iconv的库快 |
Select Language