昨天用新学的golang即go语言编程,又搞了下获取网页的程序,以下是代码记录,网上好像好少获取网页的资料,不过还是有几个例子的,以下代码都是从网上摘录下来再修改一下.
package main
import (
"fmt"
"net/http"
"io/ioutil"
"time"
)
func getwangye(url string) string {
for h:=1;h<4;h++{
r, err := http.Get(url)
if err != nil {
fmt.Printf("%v\n", err)
time.Sleep(time.Second * 4)
continue
}
defer r.Body.Close()
body, err:= ioutil.ReadAll(r.Body)
return string(body)
}
return "nonono"
}
func main() {
url := "https://www.lpfrx.com"
b := getwangye(url)
fmt.Println(b)
}
上边的代码就是访问网页,如果获取网址失败,再尝试三次,访问失败输出”nonono”字符,暂时不知道怎样设定超时的秒数.
本想搞获取链接的代码,用正则或者用goquery模块等,但还没有学会这方面的方法,一步一步来吧,向着蜘蛛爬虫的编程方向进发。
还有想说的是,go语言是可以编译的,编译后执行程序很快.