要用postgresql9.2了,准备以后所有的爬虫应用数据库都启用这个,mysql太虐心了,总是出问题,而且文件达到2G的尺寸就经常出问题了,当然是指我的Piii 500 512m的机器上,前两天试用mysql的分区,貌似不理想,升级到mysql5.6后貌似还可以,但现在还是决定试用postgresql, 因为据说它的效能很不用,而且现在postgresql9.2的版本比以前的好很多了,好吧,试试新技术吧,以后花多点时间在postgresql上,其实mysql我用得久,最喜欢就是它的数据文件复制就可以拿走,非常方便,而且可以不同版本的数据文件混用都得,但我的python爬虫捉回来的数据太大了,mysql大文件效能确实不好呢,除非升级配置,这个以后再想,当学习一们新技术吧, 反正python的posql库很全,昨晚试用了psycopg2模块,一切跟mysqldb差不多,看来不用改太多代码呢.
1千多万条数据呢,不知道要多少时间啊…
AD
友情链接
近期评论
- mr 发表在《TP Link MR10U刷openwrt成功》
- 陈先生 发表在《H2O水芝澳怎么样》
- [email protected] 发表在《我终于阴了》
- [email protected] 发表在《wr881n v1路由器的4m的openwrt固件和官方固件》
- 无聊人 发表在《openwrt命令行下阻止某mac机器上网iptable命令》
- 豆浆喝完了 发表在《手机5800xm终于换上了s60v5版的qq1.0》
- Zgy 发表在《openwrt命令行下阻止某mac机器上网iptable命令》
- 何生 发表在《中山石岐的一些老旧照片,怀旧啊》
- 阿山 发表在《实现了delphi unigui跑在linux上》
- 养生港 发表在《今天跑到Amazon去申请了Associates ID》
其他操作