非常慢的麻木或操作

Very slow numpy OR operation(非常慢的麻木或操作)

问题描述

我正在对大型数据集执行OR操作，该数据集是一个数值dtype数组对象。

下面的代码是外部for循环的一部分，该循环遍历15列，并检查这些列中是否有用户名可用，如果可用，则标记这些行以供进一步操作。

mask= mask | (np_array[:,col_index[f"COL_{col_number}"]] == username)

MASK=与NP_ARRAY长度相同的Numpy一维数组 NP_ARRAY=Numpy dtype ndarray对象

此行代码占用了我全部代码时间的60%以上。

有什么方法可以改进/优化上述代码性能吗？

谢谢， LIVA

推荐答案

alist = [(np_array[:,col_index[f"COL_{col_number}"]] == username) for col_number in range(columns)]

这应该是所有colnumber测试的列表

mask = np.logical_or.reduce(alist)

应or将它们放在一起。性能应该比重复的or更好。但如果alist构建是最慢的一步，我也不会感到惊讶。

但没有可运行的示例，我无法测试或计时。

这篇关于非常慢的麻木或操作的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！