Go语言使用goroutine来同时爬取多个网页

package main
import (
    "fmt"
    "net/http"
    "sync"
    "github.com/PuerkitoBio/goquery"
)
func main() {
    // 定义urls数组，包含要爬取的多个网页的URL
    urls := []string{
        "https://www.xp.cn/using.html",
        "https://www.xp.cn/advise.html",
        "https://www.xp.cn/bug.html",
    }
    // WaitGroup来等待所有的goroutine执行完毕
    var wg sync.WaitGroup
    for _, url := range urls {
        wg.Add(1)
        // 用goroutine来同时爬取这些网页
        go func(u string) {
            defer wg.Done()
            resp, err := http.Get(u)
            if err != nil {
                fmt.Println(err)
                return
            }
            defer resp.Body.Close()
            // 解析网页内容
            doc, err := goquery.NewDocumentFromReader(resp.Body)
            if err != nil {
                fmt.Println(err)
                return
            }
            // 获取标题
            doc.Find(".pb-20").Each(func(i int, s *goquery.Selection) {
                title := s.Find("li p a").Text()
                fmt.Printf("%s
", title)
            })
        }(url)
    }
    wg.Wait()
}

在实际应用中，我们还可以通过设置代理、使用cookie等方式来提高爬取效率和稳定性。