V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
xiaojiong1991
V2EX  ›  问与答

[分享]基于 GO 语言写的 DHT 爬虫实现的种子搜索引擎,小清新流派的。

  •  2
     
  •   xiaojiong1991 · Apr 1, 2015 · 11499 views
    This topic created in 4044 days ago, the information mentioned may be changed or developed.

    做这个呢
    主要是想好好的学习go。然后自己也想折腾折腾玩玩。
    目前收录了1000w+资源了,目前资源数以每天5w左右的速度增加的。

    http://btku.org

    实现的自动入库,自动重建索引,基本上不用维护,然后自动就把资源抓取下来了。
    这个可以看见最新收录的资源。。1分钟更新一次。
    http://btku.org/new

    爬虫实现的核心代码:
    github:https://github.com/xiaojiong/DhtCrawler">https://github.com/xiaojiong/DhtCrawler

    后续想继续开发,做点电影推介啊什么的。
    求指导哈。。

    42 replies    2016-10-25 09:44:33 +08:00
    sallowdish
        1
    sallowdish  
       Apr 1, 2015
    搜索了下‘Voice Lover’, 果然货不少,赞一个
    bugeye
        2
    bugeye  
       Apr 1, 2015
    然后我看了一下大家都在搜什么。。。。
    Mashiro
        3
    Mashiro  
       Apr 1, 2015
    大家在搜
    yuewolf
        4
    yuewolf  
       Apr 1, 2015
    很强悍!!!
    NewYear
        5
    NewYear  
       Apr 1, 2015   ❤️ 1
    没有图片预览 差评
    MartinSong
        6
    MartinSong  
       Apr 1, 2015   ❤️ 1
    这些种子都是从哪里爬过来的?
    xiaojiong1991
        7
    xiaojiong1991  
    OP
       Apr 1, 2015
    @MartinSong 就是DHT网络里面抓取的。 就是 我们使用bt 下载的时候 那个网络里哈
    MartinSong
        8
    MartinSong  
       Apr 1, 2015
    @xiaojiong1991 手撕包菜网络那里爬的么?我试了几个用迅雷,打开磁力下载,种子下载不下来呀?
    benjiam
        9
    benjiam  
       Apr 1, 2015
    不错,我也曾想做一个来着。关键就是DHT 协议
    xiaojiong1991
        10
    xiaojiong1991  
    OP
       Apr 1, 2015
    @MartinSong 自己去抓取的哈, 没在手撕包菜那爬。 你举例下哪些打不开呢。
    xiaojiong1991
        11
    xiaojiong1991  
    OP
       Apr 1, 2015
    @benjiam 对的哈 就是关键是 协议
    ikaros
        12
    ikaros  
       Apr 1, 2015
    热门搜索简直赞
    wind3110991
        13
    wind3110991  
       Apr 1, 2015
    github链接挂了404
    xiaojiong1991
        15
    xiaojiong1991  
    OP
       Apr 1, 2015
    @ikaros 哈哈。。教你用词呢。 算了 我看什么时候还是把这个词语给去掉算了。
    CodeDrift
        16
    CodeDrift  
       Apr 1, 2015
    请问有没有Python版的。。谢谢了。。学生想学习 顺便建一个这样的站
    mhycy
        17
    mhycy  
       Apr 1, 2015
    @Anybfans
    已经说明是Go编写的了,就别做伸手党了...
    自己写个也不难,关键搞定了DHT算法就行
    CodeDrift
        18
    CodeDrift  
       Apr 1, 2015   ❤️ 1
    @mhycy 。。新手。真心不太懂DHT什么什么的第一次听说
    > < 想搞一份Python版本的 当毕业设计。。
    mhycy
        19
    mhycy  
       Apr 1, 2015
    @Anybfans
    搜索一下就好了,做伸手党可不好啊...
    说回来,毕业设计做这个没问题么?
    xiaojiong1991
        20
    xiaojiong1991  
    OP
       Apr 1, 2015
    @Anybfans 我也是在网上看别人做了, 然后自己觉得好玩 所以就搜索协议什么的 做了一个。
    CodeDrift
        21
    CodeDrift  
       Apr 1, 2015
    @mhycy 。。有问题么。毕业设计不让做这个么。。。

    @xiaojiong1991 行。。我研究研究。 不难吧?
    rrfeng
        22
    rrfeng  
       Apr 1, 2015
    都不能下载。。。
    xiaojiong1991
        23
    xiaojiong1991  
    OP
       Apr 1, 2015
    @Anybfans 不难哈
    xiaojiong1991
        24
    xiaojiong1991  
    OP
       Apr 1, 2015
    @Anybfans 不难哈
    @rrfeng 什么问题哟? 发下 具体链接 , 你指的是 什么不能下载哟?
    hahasong
        25
    hahasong  
       Apr 1, 2015
    爬dht和爬magnet是一样的源码么
    mhycy
        26
    mhycy  
       Apr 1, 2015
    @hahasong 是的,目的都只是为了获得种子的hash而已,不同点在于magnet获取到hash就完了,这个工具似乎还会把种子下回来...
    leemw
        27
    leemw  
       Apr 1, 2015
    只知道这种网站流量会蹭蹭蹭的上去。。。
    xiaojiong1991
        28
    xiaojiong1991  
    OP
       Apr 1, 2015
    @mhycy 对哈,主要是要解析种子内的信息
    rrfeng
        29
    rrfeng  
       Apr 1, 2015
    @xiaojiong1991
    比如随便搜一个,thunder:// 链接全不能下载,都显示 Index.html
    磁力链没试。

    种子文件要么不能下载,要么下回来打不开……
    holmesabc
        30
    holmesabc  
       Apr 1, 2015
    大家都在搜!!!!!
    fising
        31
    fising  
       Apr 1, 2015
    我之前也做了一个,上线几天就主动关闭了。小心有人举报送你进去。

    btbook.net 也是此类网站
    des
        32
    des  
       Apr 1, 2015
    CodeDrift
        33
    CodeDrift  
       Apr 1, 2015
    @des 先谢谢。。回去研究一下
    lirau
        34
    lirau  
       Apr 2, 2015 via Android
    @fising 这种也能进去啊
    fising
        35
    fising  
       Apr 2, 2015
    @lirau 涉嫌传播淫秽色情信息、传播盗版内容。哪个都够喝一壶的。认真起来,是要坐牢的。
    chenzhe007
        36
    chenzhe007  
       Apr 4, 2015 via iPhone
    @fising btbook是我师兄做的~~确实经常被投诉。
    YouXia
        37
    YouXia  
       Apr 4, 2015
    自动构建索引这块怎么做的?
    xiaojiong1991
        38
    xiaojiong1991  
    OP
       Apr 7, 2015
    @YouXia 增量更新 ,然后 重建索引
    jeanim
        39
    jeanim  
       May 3, 2015
    可以加下lz的Q?
    jeanim
        40
    jeanim  
       May 3, 2015
    http://www.0.51bbc.workers.dev/t/184116
    我想做一个这样的网站,但web还不太熟悉,想加Q请教下。
    la0wei
        41
    la0wei  
       Sep 7, 2015 via Android
    btku.org 的地址是国内的,还以为国外的,想请教 vps 选择的
    a308057848
        42
    a308057848  
       Oct 25, 2016
    厉害啊,非常有兴趣
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3565 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 76ms · UTC 11:36 · PVG 19:36 · LAX 04:36 · JFK 07:36
    ♥ Do have faith in what you're doing.