优艾设计网

pyspider scheduler 停止调度,重启时间长.?

优艾设计网 https://www.uibq.com 2023-05-05 07:33 出处:网络 作者:PS自学
当前的pyspider为pyspider (0.3.9) python 2.7.5 大概有200个项目,其中部分stop,运行状态大概有100多个。 projectdb和resultdb 使用的是 mongodb collection有过百万的数据。某些porjectdb 的task数据也有数十万条

当前的pyspider为pyspider (0.3.9) python 2.7.5

大概有200个项目,其中部分stop,运行状态大概有100多个。

projectdb和resultdb 使用的是 mongodb collection有过百万的数据。
某些porjectdb 的task数据也有数十万条

当我修改项目的itag 然后修改项目状态为running,然后点run,显示为红色,看scheduler日志提示当前项目状态不是run或者debug,然后schedular停止调度了。

scheduler运行一段时间也有时 停止调度。

当重启scheduler 会打印很多
诸如 :

[E 161019 15:07:37 scheduler:241] unknown project: whole_***

[E 161019 15:22:46 scheduler:767] not processing pack: **********优艾设计网_设计LOGO:2e8087192edf9a9922701d2370cdcf5d http://www.******.com/157405/
这样的报错, 重启过程特别慢,将近两个小时,看日志没有其它别的异常。


0

精彩评论

暂无评论...
验证码 换一张
取 消