gevent还是需要自己调整

gevent还是需要自己调整,说的就是在那里放个gevent.sleep(0), 不知道我的想法对不对了,因为爬虫需要读写mysql, 还是个测试爬虫呢,太过密集的io读写,python用gevent写的很慢,本以为可以快过用线程写的那个,但现在发觉不是呢,差太远了,算了,暂时还是放弃gevent的学习吧,慢慢来,场景不同,应用工具不同。

gevent.sleep(0)放的位置不同,处理顺序又不同,要令cpu连续密集的工作才行,这样才能发挥gevent的威力.

不过话说回来,用go语言写的那个爬虫,越调整速度越快,现在快得离谱,最少是python版本的爬行速度六七倍呢,厉害啊,当然golang能应用双核cpu的威力, 处理速度当然快了, go语言的爬虫程序基本占用双cpu到90%去,我想这样快的采集对方网站,给封ip的机率很大呢,可能用python写的慢速爬虫没这么容易封啊,哈哈哈.

另外java写的爬虫程序始终咱占资源太厉害,所以现在主力工具先换成golang吧!

关于无聊人

一个无聊人而已
此条目发表在一般生活分类目录。将固定链接加入收藏夹。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注