昨天用新学的golang即go语言编程,又搞了下获取网页的程序,以下是代码记录,网上好像好少获取网页的资料,不过还是有几个例子的,以下代码都是从网上摘录下来再修改一下.
package main import ( "fmt" "net/http" "io/ioutil" "time" ) func getwangye(url string) string { for h:=1;h<4;h++{ r, err := http.Get(url) if err != nil { fmt.Printf("%v\n", err) time.Sleep(time.Second * 4) continue } defer r.Body.Close() body, err:= ioutil.ReadAll(r.Body) return string(body) } return "nonono" } func main() { url := "https://www.lpfrx.com" b := getwangye(url) fmt.Println(b) }
上边的代码就是访问网页,如果获取网址失败,再尝试三次,访问失败输出”nonono”字符,暂时不知道怎样设定超时的秒数.
本想搞获取链接的代码,用正则或者用goquery模块等,但还没有学会这方面的方法,一步一步来吧,向着蜘蛛爬虫的编程方向进发。
还有想说的是,go语言是可以编译的,编译后执行程序很快.