优艾设计网

python pymongo 大量插入时候 如何保证插入可靠??

优艾设计网 https://www.uibq.com 2023-04-06 15:32 出处:网络 作者:PS基础教程
在做少量测试的时候没有发现,当插入的数据量变大时候,例如插入100W的数据 检查mongo中 实际只存了优艾设计网_PS问答97W+点 try: self.task_list.insert_many([{\"Url\": task, \"Mark\": 0} for task in tasks], o

在做少量测试的时候没有发现,当插入的数据量变大时候,
例如插入100W的数据 检查mongo中 实际只存了优艾设计网_PS问答97W+点

try: self.task_list.insert_many([{"Url": task, "Mark": 0} for task in tasks], ordered=False) except pymongo.errors.BulkWriteError: pass except Exception as e: pass

通过监控发现,会触发BulkWriteError,导致部分插入失效。
但是每个要插入的任务逐个插入时都是正确的才对。

请问下 在插入比较多数据的时候,如何才能保证数据被有效 可能的加到mongo中?


0

精彩评论

暂无评论...
验证码 换一张
取 消