31G的数据，运行去重的时候，保存数据的时候被kill about data-juicer HOT 18 CLOSED

您好，感谢您使用Data-Juicer！
建议提供详尽错误的日志信息或者截图，便于我们发现出现该现象的原因。
根据您的描述，我们建议您可以先检查并确认：

• 检查您的机器硬盘是否有富余的空间用于保存处理过的数据集
• 问题发生的准确位置，比如是在去重过程，还是导出数据过程

from data-juicer.

[4842680.894683] oom-kill:constraint=CONSTRAINT_MEMCG,nodemask=(null),cpuset=docker-9bb66ff24a5af61c7712662bb2905e00c6c9873e317396c1628b5164ebcbd285.scope,mems_allowed=0-1,oom_
memcg=/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod24ea3d2c_1bf6_425b_9f29_ec152b11f359.slice,task_memcg=/kubepods.slice/kubepods-burstable.slice/kubepods-bur
stable-pod24ea3d2c_1bf6_425b_9f29_ec152b11f359.slice/docker-9bb66ff24a5af61c7712662bb2905e00c6c9873e317396c1628b5164ebcbd285.scope,task=python,pid=26950,uid=0
[4842680.894944] Memory cgroup out of memory: Killed process 26950 (python) total-vm:153552968kB, anon-rss:62973884kB, file-rss:2488kB, shmem-rss:12kB, UID:0 pgtables:235072kB
oom_score_adj:969
[4842682.791669] oom_reaper: reaped process 26950 (python), now anon-rss:0kB, file-rss:0kB, shmem-rss:12kB

from data-juicer.

from data-juicer.

我把 shard size 调到100，还是被kill，怎么解决这个问题呢？跑了很久，保存的时候就给我kill掉了

from data-juicer.

我把 shard size 调到100，还是被kill，怎么解决这个问题呢？跑了很久，保存的时候就给我kill掉了
shard size的值越小，保存的数据的分片就会越多。
第一次出现保存失败的时候，是否设置了shard size？ 是否有限制docker 容器的 memory ? 可否调整一下shared memory size ?

from data-juicer.

第一次没有设置，不设置它默认写到一个文件里，我认为这样导致oom；然后我设置了shard size，设置了10 。100，但是结果都是oom，被kill掉。
我不是用的docker，就用的linux 命令来运行的；请问有什么办法解决吗？
我看shard size 设置了之后，就会被原始的文件分块来存储，但是现在分块了还是没办法保存下来。

from data-juicer.

2023-11-21 03:45:30 | INFO | data_juicer.core.exporter:122 - Split the dataset to export into 28440939 shards. Size of each shard <= 500.00 Bytes

Killed

程序到这一行就没了

from data-juicer.

请问第一次没有设置shard size的时候是在哪一条日志后面报OOM的错的呢？

以及你的设备的总内存大概是多少呀？可以的话提供一下你的config配置文件，我们看下可能的原因

from data-juicer.

这个是现在正在保存文件的时候的内存的变化。

第一次没设置shard size 的时候和设置了shard size 的时候的报 OOM 错的地方是一样的；

ji就这种最简单的处理过程

from data-juicer.

又被kill掉了，所以代码没到保存的时候，就是在 split 的时候就爆了

这一步就爆了

from data-juicer.

麻烦在数据处理的环境内，执行一下如下的命令：

cat /sys/fs/cgroup/memory/memory.limit_in_bytes

from data-juicer.

68719476736

from data-juicer.

请问该如何设置

from data-juicer.

68719476736

换算的话约64G。如果您使用docker 容器，可以参考知乎 docker如何动态修改资源

docker update --cpus 24.0 -m 64g --memory-swap 64g docker_name

from data-juicer.

我不是用的 docker， 直接在服务器上命令行跑的，请问我怎么扩大这个 limit ？

from data-juicer.

我不是用的 docker， 直接在服务器上命令行跑的，请问我怎么扩大这个 limit ？

如果是云上机器的话，可以重新扩充资源。

from data-juicer.

This issue is marked as stale because there has been no activity for 21 days. Remove stale label or add new comments or this issue will be closed in 3 day.

from data-juicer.

Close this stale issue.

from data-juicer.