分享每一天-golang爬取动态页面数据

golang爬取动态页面数据

GoLang 990 0 创建时间：2022-03-05 14:51:27

golang爬取动态页面数据

## golang如何爬取动态页面数据

用golang来实现爬取网站上的数据，例如天气预报，每日一句等等，发现这些网站的数据都是javascript动态生成，不知道如何才能把网站上的动态数据获取下来。

#### chromedp框架的使用
chromedp是一个更快、更简单的Golang库用于调用支持Chrome DevTools协议的浏览器，同时不需要额外的依赖（例如Selenium和PhantomJS）
> Chrome和Golang都与Google有着相当密切的关系，而Chrome DevTools其实就是Chrome浏览器按下F12之后的控制终端

#### 安装
```go
go get -u github.com/chromedp/chromedp
```
#### 上代码
```go
//获取网站上爬取的数据
func GetHttpHtmlContent(url string, selector string, sel interface{}) (string, error) {
	options := []chromedp.ExecAllocatorOption{
		chromedp.Flag("headless", true), // debug使用
		chromedp.Flag("blink-settings", "imagesEnabled=false"),
		chromedp.UserAgent(`Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36`),
	}
    //初始化参数，先传一个空的数据	
	options = append(chromedp.DefaultExecAllocatorOptions[:], options...)

c, _ := chromedp.NewExecAllocator(context.Background(), options...)

// create context
	chromeCtx, cancel := chromedp.NewContext(c, chromedp.WithLogf(log.Printf))
	// 执行一个空task, 用提前创建Chrome实例
	chromedp.Run(chromeCtx, make([]chromedp.Action, 0, 1)...)

//创建一个上下文，超时时间为40s
	timeoutCtx, cancel := context.WithTimeout(chromeCtx, 40*time.Second)
	defer cancel()

var htmlContent string
	err := chromedp.Run(timeoutCtx,
		chromedp.Navigate(url),
		chromedp.WaitVisible(selector),
		chromedp.OuterHTML(sel, &htmlContent, chromedp.ByJSPath),
	)
	if err != nil {
		logger.Info("Run err : %v\n", err)
		return "", err
	}
	//log.Println(htmlContent)

return htmlContent, nil
}

```

GetHttpHtmlContent做为一个爬取网站动态数据的接口，主要功能是爬取js生成的动态数据（当然静态数据更是不在话下）

第一个参数 url即为我们需要传入的要爬取的网站地址，页面如上

第二个参数 selector即为我们爬取的数据对应的选html择器, 通过谷歌浏览器进入网站，按F12 -> 点击左上角的鼠标 -> 再点击我们需要爬取的数据 -> 就可以看到实际的html源码（目前看到的是通过javascript动态生成数据后的）

```go
go get github.com/PuerkitoBio/goquery
```

```go
//得到具体的数据
func GetSpecialData(htmlContent string, selector string) (string, error) {
	dom, err := goquery.NewDocumentFromReader(strings.NewReader(htmlContent))
	if err != nil {
		logger.Error(err)
		return "", err
	}

var str string
	dom.Find(selector).Each(func(i int, selection *goquery.Selection) {
		str = selection.Text()
	})
	return str, nil
}

```
第一个参数 htmlContent 就是 上面 chromedp爬取到的数据，是字符串，内容是html

第二个参数即是html的选择器 ，对于这个网站，这个参数可以填 .chinese，如

```go
   # GetSpecialData(htmlContent, ".chinese")
```
#### 完成代码
```go
package main

// 库不全的话 自己补充 go get
import (
	"context"
	"fmt"
	"github.com/PuerkitoBio/goquery"
	"github.com/chromedp/chromedp"
	"log"
	"strings"
	"time"
)

// 获取网站上爬取的数据
// htmlContent 是上面的 html 页面信息，selector 是我们第一步获取的 selector
func GetHttpHtmlContent(url string, selector string, sel interface{}) (string, error) {
	options := []chromedp.ExecAllocatorOption{
		chromedp.Flag("headless", true), // debug使用
		chromedp.Flag("blink-settings", "imagesEnabled=false"),
		chromedp.UserAgent(`Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36`),
	}
	//初始化参数，先传一个空的数据
	options = append(chromedp.DefaultExecAllocatorOptions[:], options...)

c, _ := chromedp.NewExecAllocator(context.Background(), options...)

// create context
	chromeCtx, cancel := chromedp.NewContext(c, chromedp.WithLogf(log.Printf))
	// 执行一个空task, 用提前创建Chrome实例
	_ = chromedp.Run(chromeCtx, make([]chromedp.Action, 0, 1)...)

//创建一个上下文，超时时间为40s  此时间可做更改  调整等待页面加载时间
	timeoutCtx, cancel := context.WithTimeout(chromeCtx, 20*time.Second)
	defer cancel()

var htmlContent string
	err := chromedp.Run(timeoutCtx,
		chromedp.Navigate(url),
		chromedp.WaitVisible(selector),
		chromedp.OuterHTML(sel, &htmlContent, chromedp.ByJSPath),
	)
	if err != nil {
		//log.Fatal("Run err : %v\n", err)
		return "", err
	}
	//log.Println(htmlContent)

return htmlContent, nil
}

// 得到具体的数据
// 就是对上面的 html 进行解析，提取我们想要的数据
// 这个 seletor 是在解析后的页面上，定位要哪部分数据
// 要中文 selector 就可以传入 “.chinese” 对应 上面class chinese 部分
// 中英都要，就传入“.item-bottom"
func GetSpecialData(htmlContent string, selector string) (string, error) {
	dom, err := goquery.NewDocumentFromReader(strings.NewReader(htmlContent))
	if err != nil {
		log.Fatal(err)
		return "", err
	}
	var str string
	dom.Find(selector).Each(func(i int, selection *goquery.Selection) {
		str = selection.Text()
	})
	return str, nil
}

func main() {

//url :="http://news.iciba.com/"
	url1 := "https://pancakeswap.finance/info/pool/0x8941f3731898c99f6865723829585ba064b56a4a"

//selector := "body > div > div.banner > div.swiper-container-place > div > div.swiper-slide.swiper-slide-0.swiper-slide-visible.swiper-slide-active > a.item.item-big > div.item-bottom"

selector1 := "#__next > div.sc-910a4588-0.fCiYhr > div.sc-c4ec0fdf-0.sc-910a4588-4.kRRVKf.fLUzdG > div > div.sc-c4ec0fdf-0.jAQrMz.sc-5eac05c9-0.eDGSBa > div.sc-da5ef41-0.gUjkFS > div.sc-c4ec0fdf-0.dGKbaC > div.sc-eecfaa46-0.hkCvwg > div > div > div.sc-c4ec0fdf-0.sc-32d5f017-0.sc-da5ef41-2.dGKbaC.fOPopv.dskcks > div:nth-child(2) > div.sc-be365e-0.hdinSk"
	// html 知识 可参考上面链接
	//param := `document.querySelector("body")`

param1 := `document.querySelector("body")`

//html, _ := GetHttpHtmlContent(url, selector, param)

html1, _ := GetHttpHtmlContent(url1, selector1, param1)
	//log.Printf(html1)
	// 中英都要，就传入“.item-bottom"
	//res, _ := GetSpecialData(html, ".item-bottom")

res1, _ := GetSpecialData(html1, "div:nth-child(2) > div.sc-be365e-0.hdinSk")

//fmt.Println(res)
	fmt.Println(res1)
	return

}

```

golang爬取动态页面数据

商品推荐

广告推荐

推荐文章