写了两个爬虫,一个go语言爬虫,一个java语言爬虫,在一部老机P4 3.2E 2G内存的debian7下运作,go1.1 , java是 openjdk 7,
分别爬虫,程序原理是差不多的,但golang恐怖,爬行的线程大概,golang的爬死了人家网站,我也只是一条上行1M的光纤adsl而已,java的就爬不死了。
go语言的,cpu占用100%, 但java的只占用了50%, 估计是go语言的协程和线程一起了,这东西并行太恐怖了.
算了,好玩啊,这几天学习java和golang语言的知识很多,不摆弄它们了,都是赶正事去。
现在开着的是go语言爬虫,调小一点线程,间隔也调大点,做人要厚道呢.
刚才看了下java有没有协程,貌似还没有呢,看来go语言是种好选择。
不过java还是要用的,代码量积累嘛.