无聊空间

今天下午3点左右开始的，抽风还是悲剧呢，一道长长长的墙又在作怪，我访问不了这里，应该说一访问就断开，好像访问google那样似的，莫非这个ip给屏蔽了，我没有写什么出位的东西啊，最近都是在写一大堆废话呢，或者说一直以来都是自言自语，不知道现在是线路抽风，还是我的域名给列入什么名单呢，做个站而已，这么难啊，唉……我记得我好像今天去淘客申请橱窗来，那个什么被按信息乱填，莫非……唉唉，希望晚点没事吧.

刚才把python的蜘蛛分离到另一部机去，piii 600的512M跑postgresql9.2还是不错， 不能说爽，但负载还是很轻，比起之前跑mysql,好像轻松好多，30个线程而已，数据继续增大中，但看数据文件好像没什么变，怪啊，等有时间，作个实验，用mongodb做后台数据库试试，或许先搞postgresql分表，在低配置的机器情况下，一个数据库始终不好吧！但piii始终是低配置的硬件，在恢复数据上特别慢，始终要更换机器先得，时间是金钱啊.

今早改写了爬虫使用postgresql，貌似几稳定，整机上负载比用mysql时低，不过感觉上比mysql慢，只是貌似，但只要稳定和可以大数据就得了，不求快，只求稳定，在top命令的观看下，postgresql好多进程呢，等postgresql再运行久点，再发表其它废话.

搞了一个下午，终于恢复postgresql数据到piii老爷机上，一样都是postgresql9.2, 数据量是1.7G文件，从我的台式高配置机上恢复过去，慢到死，不过总算搞定，慢慢改代码，看看diy的python爬虫用postgresql来跑爽不爽，刚才试了一下浏览数据，速度还可以，不过select count(*) 比mysql慢，还没有调整参数呢，上网看看怎样修改参数，才能令postgresql跑得快点.

要用postgresql9.2了，准备以后所有的爬虫应用数据库都启用这个，mysql太虐心了，总是出问题，而且文件达到2G的尺寸就经常出问题了，当然是指我的Piii 500 512m的机器上，前两天试用mysql的分区，貌似不理想，升级到mysql5.6后貌似还可以，但现在还是决定试用postgresql, 因为据说它的效能很不用，而且现在postgresql9.2的版本比以前的好很多了，好吧，试试新技术吧，以后花多点时间在postgresql上，其实mysql我用得久，最喜欢就是它的数据文件复制就可以拿走，非常方便，而且可以不同版本的数据文件混用都得，但我的python爬虫捉回来的数据太大了，mysql大文件效能确实不好呢，除非升级配置，这个以后再想，当学习一们新技术吧, 反正python的posql库很全，昨晚试用了psycopg2模块，一切跟mysqldb差不多，看来不用改太多代码呢.
1千多万条数据呢，不知道要多少时间啊…