[babysor/MockingBird]aidatatang数据预处理报错

2024-07-05 595 views
9

大佬们有没有遇到下面的问题啊,用最新的代码跑 aidatatang数据集预处理的时候报错, image

回答

5

看起来是多线程在ubuntu下有问题,可以简单改下多线程实例化逻辑

8

可以尝试将models.synthesizer.preprocess.py中的137行改成下面的形式: import torch ctx = torch.multiprocessing.get_context("spawn") job = ctx.Pool(n_processes).imap(func, fpaths)

1

我是小白,昨天也遇到了这个问题,我用的是rockylinux。后来我是在pre.py里的create_embeddings上面加了两行 import torch torch.multiprocessing.set_start_method('spawn', force=True) 然后就跑起来了。