当前的pyspider为pyspider (0.3.9) python 2.7.5
大概有200个项目,其中部分stop,运行状态大概有100多个。
projectdb和resultdb 使用的是 mongodb collection有过百万的数据。
某些porjectdb 的task数据也有数十万条
当我修改项目的itag 然后修改项目状态为running,然后点run,显示为红色,看scheduler日志提示当前项目状态不是run或者debug,然后schedular停止调度了。
scheduler运行一段时间也有时 停止调度。
当重启scheduler 会打印很多
诸如 :
[E 161019 15:07:37 scheduler:241] unknown project: whole_***
[E 161019 15:22:46 scheduler:767] not processing pack: **********优艾设计网_设计LOGO
:2e8087192edf9a9922701d2370cdcf5d http://www.******
.com/157405/
这样的报错, 重启过程特别慢,将近两个小时,看日志没有其它别的异常。
精彩评论