文档不能看了吗 ？ 后半段的文档点进去卡半天进不去

`
package main

import (
"fmt"
"github.com/zhshch2002/goribot"
"crawlab/service/babyTree/parser"
)

func main() {
s := goribot.NewSpider(
//goribot.Limiter(
// true,
// &goribot.LimitRule{
// Glob: "*.babytree.com",
// Allow: goribot.Allow,
// Rate: 2,
// //Delay: 5 * time.Second,
// RandomDelay: 5 * time.Second,
// Parallelism: 3,
// MaxReq: 3,
// MaxDepth: 5,
// },
//),
goribot.SetDepthFirst(true),
goribot.RefererFiller(),
goribot.RandomUserAgent(),
goribot.SpiderLogPrint(),
)

s.AddTask(
	goribot.Get("http://www.babytree.com/difang/allCities.php"),
	parser.CityList,
)

s.OnItem(func(i interface{}) interface{} {
	fmt.Printf("Item : %+v\r\n",i)
	return i
})

s.Run()

}

package parser

import (
"fmt"
"github.com/PuerkitoBio/goquery"
"github.com/zhshch2002/goribot"
"crawlab/models"
"net/url"
"strings"
)

func CityList(ctx *goribot.Context){
if ctx.Resp.Dom != nil {
cityList := make([]map[string]string, 2)
cityList[0] = map[string]string{"city": "北京", "py": "beijing"}
cityList[1] = map[string]string{"city": "上海", "py": "shanghai"}

	ctx.Resp.Dom.Find("a").Each(func(i int, sel *goquery.Selection) {
		href, exists := sel.Attr("href")
		index := strings.LastIndex(href, "?location=")
		if index == -1 && exists {
			u, _ := url.Parse(href)
			i2 := strings.Index(u.Host, ".")
			u2 := u.Host[:i2]
			i3 := strings.Index(u2, "-city")
			if i3 > -1 {
				py := u2[:i3]
				cityList = append(cityList, map[string]string{"city": sel.Text(), "py": py})
			}
		}
	})
	fmt.Printf("city Lists : %+v\r\n",cityList)
	for _, c := range cityList {
		py := c["py"]
		uri := "http://www.babytree.com/community/" + py + "/index_1.html#topicpos"
		ctx.AddItem(models.CityList{py,uri})
	}
}

}
`
这是执行打印的结果：

为什么map内的Item无法全部打印出来？run方法就退出了？

感觉非常美观，正好我想记录自己的学习笔记，希望能告知一下

代码结构如下：

func main() {
	...
	s.AddTask(goribot.GetReq(url), f1)
	s.Run()
}

var f1 = func(ctx *goribot.Context) {
	...
        url:= ctx.Resp.Json("url").Int()
	file_name := ctx.Resp.Json("file_name").Int()
	file_size := ctx.Resp.Json("file_size").Int()
	ctx.AddTask(goribot.GetReq(url),f2)
}

var f2 = func(ctx *goribot.Context) {
	file_download_url := ctx.Resp.Json("file_download_url")
}

f1中获取的file_name、file_size、和f2中获取的file_download_url ，如何能让这三个字段同时整体输出

PostJsonReq字面理解应该是生成一个携带参数为json格式的post请求，但是requestData 如果传入InfoRaw会请求失败，但是如果是InfoMap会请求成功。

func PostJsonReq(urladdr string, requestData interface{}) *Request {
	body, err := json.Marshal(requestData)
	req := PostReq(urladdr, bytes.NewReader(body))
	if req.Err == nil {
		req.Err = err
	}
	req.SetHeader("Content-Type", "application/json")
	return req
}

主要是json.Marshal()解析的问题：

InfoRaw = `{"account":"XXX","password":"YYY"}`
InfoMap = map[string]string{
		"account":  "XXX",
		"password": "YYY",
}

func xx2JSON(requestData interface{}) {
	body, err := json.Marshal(requestData)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println(string(body))
}

	xx2JSON(InfoRaw)    //  "{\"account\":\"XXX\",\"password\":\"YYY\"}"
	xx2JSON(InfoMap)   //  {"account":"XXX","password":"YYY"}

所以对于PostJsonReq函数，是不是内部应该使用gjson.Parse(InfoRaw).String()

当前一下代码，会将原有的 foo=bar 去掉了

req:=goribot.
	GetReq("https://example.com?foo=bra&ping=pong").
	SetParam(map[string]string{
		"ping": "pong"
	})

建议增加一个方法 func (s *Request) AddParam(key, value string) *Request。

github.com\zhshch2002\goribot\net.go:61:32: r.Header.Clone undefined (type http.Header has no field or method Clone)

每次增加多个 param 的时候要写不少次，用 map 一次搞定

func (s *Request)  AddParams(params string[string]) *Request

其他的 AddCookie(s) SetHeader(s) WithMeta(s) 也可以这样做

再请教一个问题
爬取如下页面：
https://github.com/search?q=go&type=Topics
然后
指定开始爬取条目startTopic (比如：golang-library)
以及结束爬取条目endTopic(比如：google-cloud-storage 在第3页)

爬虫从startTopic开始爬取，到endTopic后就不在爬取。

我实现代码大致如下：

var (
	startTopic = "XXXXX"
	endTopic   = "YYYYY"
)

func main1() {
	s := goribot.NewSpider(
		goribot.Limiter(true, &goribot.LimitRule{
			//Glob: "*.github.com",
			Rate: 2,
		}),
		goribot.RefererFiller(),
		goribot.RandomUserAgent(),
	)

	s.AddTask(goribot.Get("https://github.com/search?q=go&type=Topics"), func(ctx *goribot.Context) {
		totalPage := ctx.Resp.Dom.Find("XXXXXXX").Text()

		f := func(p int) string {
			return fmt.Sprintf("https://github.com/search?p=%v&q=go&type=Topics", p)
		}

		for i := 1; i <= totalPage; i++ {
			ctx.AddTask(goribot.Get(f(i)), func(ctx *goribot.Context) {
				ctx.Resp.Dom.Find("tbody[id^=normalthread]").Each(func(i int, s *goquery.Selection) {

					topic := s.Find("XXXX").Text()
                                      
                                       ..............................

				})

			})
		}

	})

	s.Run()
}

但是在在实现判断逻辑的时候，始终有问题，主要是判断到了endTopic，任然往后爬取

当前貌似不能自动处理 cookie 的保存和发送，每次都需要手动设置 cookie 值，能否第一次任务设置 cookie 之后，自动处理呢？

建个群，向大佬学习