做这个呢
主要是想好好的学习go。然后自己也想折腾折腾玩玩。
目前收录了1000w+资源了,目前资源数以每天5w左右的速度增加的。
实现的自动入库,自动重建索引,基本上不用维护,然后自动就把资源抓取下来了。
这个可以看见最新收录的资源。。1分钟更新一次。
http://btku.org/new
爬虫实现的核心代码:
github:https://github.com/xiaojiong/DhtCrawler">https://github.com/xiaojiong/DhtCrawler
后续想继续开发,做点电影推介啊什么的。
求指导哈。。
1
sallowdish Apr 1, 2015
搜索了下‘Voice Lover’, 果然货不少,赞一个
|
2
bugeye Apr 1, 2015
然后我看了一下大家都在搜什么。。。。
|
3
Mashiro Apr 1, 2015
大家在搜
|
4
yuewolf Apr 1, 2015
很强悍!!!
|
5
NewYear Apr 1, 2015 没有图片预览 差评
|
6
MartinSong Apr 1, 2015 这些种子都是从哪里爬过来的?
|
7
xiaojiong1991 OP @MartinSong 就是DHT网络里面抓取的。 就是 我们使用bt 下载的时候 那个网络里哈
|
8
MartinSong Apr 1, 2015
@xiaojiong1991 手撕包菜网络那里爬的么?我试了几个用迅雷,打开磁力下载,种子下载不下来呀?
|
9
benjiam Apr 1, 2015
不错,我也曾想做一个来着。关键就是DHT 协议
|
10
xiaojiong1991 OP @MartinSong 自己去抓取的哈, 没在手撕包菜那爬。 你举例下哪些打不开呢。
|
11
xiaojiong1991 OP @benjiam 对的哈 就是关键是 协议
|
12
ikaros Apr 1, 2015
热门搜索简直赞
|
13
wind3110991 Apr 1, 2015
github链接挂了404
|
14
xiaojiong1991 OP |
15
xiaojiong1991 OP @ikaros 哈哈。。教你用词呢。 算了 我看什么时候还是把这个词语给去掉算了。
|
16
CodeDrift Apr 1, 2015
请问有没有Python版的。。谢谢了。。学生想学习 顺便建一个这样的站
|
20
xiaojiong1991 OP @Anybfans 我也是在网上看别人做了, 然后自己觉得好玩 所以就搜索协议什么的 做了一个。
|
21
CodeDrift Apr 1, 2015
|
22
rrfeng Apr 1, 2015
都不能下载。。。
|
23
xiaojiong1991 OP @Anybfans 不难哈
|
24
xiaojiong1991 OP |
25
hahasong Apr 1, 2015
爬dht和爬magnet是一样的源码么
|
27
leemw Apr 1, 2015
只知道这种网站流量会蹭蹭蹭的上去。。。
|
28
xiaojiong1991 OP @mhycy 对哈,主要是要解析种子内的信息
|
29
rrfeng Apr 1, 2015
|
30
holmesabc Apr 1, 2015
大家都在搜!!!!!
|
31
fising Apr 1, 2015
|
32
des Apr 1, 2015
|
36
chenzhe007 Apr 4, 2015 via iPhone
@fising btbook是我师兄做的~~确实经常被投诉。
|
37
YouXia Apr 4, 2015
自动构建索引这块怎么做的?
|
38
xiaojiong1991 OP @YouXia 增量更新 ,然后 重建索引
|
39
jeanim May 3, 2015
可以加下lz的Q?
|
40
jeanim May 3, 2015
http://www.0.51bbc.workers.dev/t/184116
我想做一个这样的网站,但web还不太熟悉,想加Q请教下。 |
42
a308057848 Oct 25, 2016
厉害啊,非常有兴趣
|