向量化操作简介和Pandas、Numpy示例

2023-10-16 微信公众号 DeepHub IMBA

Pandas是一种流行的用于数据操作的Python/ target=_blank class=infotextkey>Python库，它提供了一种称为“向量化”的强大技术可以有效地将操作应用于整个列或数据系列，从而消除了显式循环的需要。在本文中，我们将探讨什么是向量化，以及它如何简化数据分析任务。

什么是向量化?

向量化是将操作应用于整个数组或数据系列的过程，而不是逐个遍历每个元素。在Pandas中可以对整个列或Series执行操作，而无需编写显式循环。这种高效的方法利用了底层优化的库，使您的代码更快、更简洁。

向量化操作示例

1、基本算术运算

一个具有两列的DataFrame， ' a '和' B '，我们希望以元素方式添加这两列，并将结果存储在新列' C '中。通过向量化，你可以在一行代码中实现这一点:

import pandas as pd
 
 data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
 df = pd.DataFrame(data)
 # Using vectorization to add columns 'A' and 'B'
 df['C'] = df['A'] + df['B']
 print(df['C'])
 
 Output:
 0   5
 1   7
 2   9

在本例中，加法运算df['A'] + df['B']同时应用于整个列'A'和'B'，结果存储在列'C'中。

2、Apply

向量化还允许对列应用自定义函数。假设你想计算一列中每个元素的平方:

import pandas as pd
 
 data = {'A': [1, 2, 3]}
 df = pd.DataFrame(data)
 # Define a custom function
 def square(x):
    return x ** 2
 
 # Applying the 'square' function to the 'A' column
 df['A_squared'] = df['A'].apply(square)
 print(df['A_squared'])
 
 Output:
 0   1
 1   4
 2   9

使用.apply()将平方函数应用于整个'A'列。不需要显式循环。

3、条件操作

也将矢量化用于条件操作，比如基于列a中的条件创建一个新的列D:

import pandas as pd
 
 data = {'A': [1, 2, 3]}
 df = pd.DataFrame(data)
 
 # Creating a new column 'D' based on a condition in column 'A'
 df['D'] = df['A'].apply(lambda x: 'Even' if x % 2 == 0 else 'Odd')
 
 print(df)
 
 Output:
    A     D
 0 1   Odd
 1 2 Even
 2 3   Odd

使用lambda函数来检查' a '中的每个元素是偶数还是奇数，并将结果分配给' D '列。

向量化的好处

在Pandas中向量化提供了几个好处:

效率:操作针对性能进行了优化，并且比传统的基于循环的操作快得多，特别是在大型数据集上。
清晰度:与显式循环的代码相比，代码通常更简洁，更容易阅读。
易用性:您可以使用一行代码将操作应用于整个行或列，降低了脚本的复杂性。
兼容性:Pandas与其他数据科学库(如NumPy和scikit-learn)无缝集成，可以在数据分析和机器学习项目中有效地使用向量化数据。

向量化提高代码的速度

向量化是一种强大的编程技术，可以加快代码的执行速度。这种方法利用底层优化的硬件指令和库，使计算更快、更高效。让我们以Python和NumPy为例，探索向量化如何加快代码的速度。

传统的基于循环的处理

在许多编程场景中，可能需要对数据元素集合执行相同的操作，例如逐个添加两个数组或对数组的每个元素应用数学函数。一般都会使用循环一次迭代一个元素并执行操作。

下面是一个没有向量化的Python示例:

list1 = [1, 2, 3, 4, 5]
 list2 = [6, 7, 8, 9, 10]
 result = []
 
 for i in range(len(list1)):
    result.append(list1[i] + list2[i])
 print(result)
 
 Output:
 [7, 9, 11, 13, 15]

虽然此代码可以工作，但它在循环中单独处理每个元素，这对于大型数据集来说可能很慢。

使用NumPy进行向量化操作

NumPy是一个流行的Python库，提供对向量化操作的支持。它利用了优化的C和Fortran库，使其在数值计算方面比纯Python循环快得多。

下面是使用NumPy的相同加法操作:

array1 = np.array([1, 2, 3, 4, 5])
 array2 = np.array([6, 7, 8, 9, 10])
 result = array1 + array2
 print(result)
 
 Output:
 [ 7 9 11 13 15]

NumPy可以一次对整个数组执行操作，并且更有效地处理底层细节。

效率比较

比较一下使用NumPy和Python中传统的基于循环的方法执行元素加法所花费的时间。我们将使用timeit模块来度量这两个方法的执行时间。下面是比较的代码:

import numpy as np
 import timeit
 
 # Create two NumPy arrays and two lists for the comparison
 array1 = np.random.randint(1, 100, size=1000000)
 array2 = np.random.randint(1, 100, size=1000000)
 list1 = list(array1)
 list2 = list(array2)
 
 # Vectorized processing with NumPy
 def numpy_vectorized():
    result = array1 + array2
 
 # Traditional loop-based processing
 def loop_based():
    result = []
    for i in range(len(list1)):
        result.append(list1[i] + list2[i])
 
 # Measure execution time for NumPy vectorized approach
 numpy_time = timeit.timeit(numpy_vectorized, number=100)
 
 # Measure execution time for traditional loop-based approach
 loop_time = timeit.timeit(loop_based, number=100)
 
 print(f"NumPy Vectorized Approach: {numpy_time:.5f} seconds")
 print(f"Traditional Loop-Based Approach: {loop_time:.5f} seconds")
 
 
 Output:
 NumPy Vectorized Approach: 0.30273 seconds
 Traditional Loop-Based Approach: 17.91837 seconds

可以看到NumPy向量化方法对于大数据集的速度要快得多，因为它的矢量化操作是经过优化的。

向量化加速代码的原理

向量化为加快代码速度提供了几个优势:

减少循环开销:在传统循环中，存在与管理循环索引和检查循环条件相关的开销。通过向量化，可以消除这些开销，因为这些操作应用于整个数组。

优化的低级指令:像NumPy这样的库使用优化的低级指令(例如，现代cpu上的SIMD指令)来对数组执行操作，充分利用硬件功能。这可以显著提高速度。

并行性:一些向量化操作可以并行化，这意味着现代处理器可以同时执行多个操作。这种并行性进一步加快了计算速度。

总结

Pandas和NumPy等库中的向量化是一种强大的技术，可以提高Python中数据操作任务的效率。可以以高度优化的方式对整个列或数据集合执行操作，从而生成更快、更简洁的代码。所以无论是在处理基本算术、自定义函数还是条件操作，利用向量化都可以极大地改进数据分析工作流。