PicklingError：Can&#39；t Pickle&lt；TYPE&#39；Function&39；；&>；With Python Process Pool Executor：Can&#39；t Pickle&lt；type&#39；Function&39；&

PicklingError: Can#39;t pickle lt;type #39;function#39;gt; with python process pool executor(PicklingError：Can#39；t Picklelt；TYPE#39；Function39；；；With Python Process Pool Executor：Can#39；t Picklelt；type#39；Function39；；With Pickling Process Pool Executor)

问题描述

util.py

def exec_multiprocessing(self, method, args):
    with concurrent.futures.ProcessPoolExecutor() as executor:
        results = pool.map(method, args)
        return results

clone.py

def clone_vm(self, name, first_run, host, ip):
    # clone stuff

invoke.py

exec_args = [(name, first_run, host, ip) for host, ip in zip(hosts, ips)]
results = self.util.exec_multiprocessing(self.clone.clone_vm, exec_args)

上面的代码给出了酸洗错误。我发现这是因为我们正在传递实例方法。因此，我们应该解开实例方法。但我无法使其工作。

注意：我无法创建顶级方法来避免这种情况。我必须使用实例方法。

推荐答案

让我们从概述开始-为什么首先出现错误：

问题是，并不是所有项都是可拾取的-list of pickables-当您尝试拾取不可拾取的对象时，会得到PicklingError异常-与您的情况完全相同，您传递了一个不可拾取的实例方法。

可以有各种解决方法(每个问题都是这样)--对我有效的解决方案是here by Dano--让pickle处理方法并将其注册到copy_reg。

在模块的开头clone.py添加以使clone_vm可拾取(执行importcopy_reg和types)：

def _pickle_method(m):
    if m.im_self is None:
        return getattr, (m.im_class, m.im_func.func_name)
    else:
        return getattr, (m.im_self, m.im_func.func_name)

copy_reg.pickle(types.MethodType, _pickle_method)

其他有用的答案-Alex Martelli、mrule、unutbu

这篇关于PicklingError：Can&#39；t Pickle&lt；TYPE&#39；Function&39；；&>；With Python Process Pool Executor：Can&#39；t Pickle&lt；type&#39；Function&39；&>；With Pickling Process Pool Executor的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！