如图所示：
1.这是什么问题呢？将rate/burst设置为1/1还是会有，该如何解决？
2.点到tasks界面选择任意一个success的链接进来，看到会有"HTTP 304: Not Modified"错误，这是原来已经爬取过了的意思吗？
3.还有就是爬取的网站有很多页，然后每页又是一个列表界面，点击列表界面的单个链接就进入相应的详细信息界面，理论上不应该优艾设计网_PS问答是按照顺序爬吗，第一页爬完爬第二页一次类推，为什么看终端或者activetasks里面都不是按照顺序爬的，有时是几十页，然后又跳到几百页去了，这样就有时候会漏掉很多没有爬到，这种情况如何解决，所以我就想让他严格的按照顺序爬取。
360U3199014760 优艾设计网_平面设计 8小时前
是
粤西陈济棠 优艾设计网_设计百科 7小时前
应该是多线程导致的问题，算是个 bug 吧。
羽哥277 7小时前
你是用正则优艾设计网_电脑技术或者xpath把所有列表页的url取出来爬的么，应该不会漏掉吧，你可以从数据库里去查是不是爬过某个列表url
蓝色妖姬BL 7小时前
优艾设计网_设计如果你没有指定优先级，不保证顺序。但是如果连接已经提交了，那么是不会漏掉的。
加载中,请稍侯......
精彩评论