搞了一下午,原来是go程序写的查询函数问题, 拖慢了整个并发,哈哈哈,golang并发确实简单,原来也是我大意写的函数造成,不过其实也是sql语句问题,哈哈,又一个经验了.
是写的函数关闭不了连接,每次查询,又产生一个mysql连接,然后就越来越多的连接了,差点令mysql的连接死掉, java那边的写法也差不多,但没产生多一个连接呢,奇怪啊.
短短的来两句,这个go语言爬虫以后好用了,反正比python速度快,爽啊, java的爬虫也是,现在理论上以go语言的为主,java爬虫为辅,不过反正都是代码积累呢.
日常处理还是以python为主,毕竟模块多,开发效率很高,处理一般事情够了。