golang语言获取网页

昨天用新学的golang即go语言编程,又搞了下获取网页的程序,以下是代码记录,网上好像好少获取网页的资料,不过还是有几个例子的,以下代码都是从网上摘录下来再修改一下.

package main
 
import (
        "fmt"
        "net/http"
        "io/ioutil"
        "time"
)
 
 
func getwangye(url string) string {
    for h:=1;h<4;h++{    
        r, err := http.Get(url)
       if err != nil {
          fmt.Printf("%v\n", err)
            time.Sleep(time.Second * 4)
            continue            
       }
     
       defer r.Body.Close()
 
       body, err:= ioutil.ReadAll(r.Body)
            
       return string(body)
         
     } 
     return "nonono"

}
 
func main() {
        url := "https://www.lpfrx.com"
        b := getwangye(url)
        fmt.Println(b)
}

上边的代码就是访问网页,如果获取网址失败,再尝试三次,访问失败输出”nonono”字符,暂时不知道怎样设定超时的秒数.

本想搞获取链接的代码,用正则或者用goquery模块等,但还没有学会这方面的方法,一步一步来吧,向着蜘蛛爬虫的编程方向进发。

还有想说的是,go语言是可以编译的,编译后执行程序很快.

关于无聊人

一个无聊人而已
此条目发表在技术生活分类目录。将固定链接加入收藏夹。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注