Colly自带有代理切换的功能, 它能对每个http链接进行切换代理进行访问,可以避免一些由于同一地址访问速度过快而被ban的可能。
使用例子:
package main
import (
"github.com/gocolly/colly"
"github.com/gocolly/colly/proxy"
)
func main() {
c := colly.NewCollector()
if p, err : proxy.RoundRobinProxySwitcher(
"socks5://127.0.0.1:1337",
"socks5://127.0.0.1:1338",
"http://127.0.0.1:8080",
); err == nil {
c.SetProxyFunc(p)
}
}