Groupby 值依赖于数据框 pandas

Python

使用Python编程进行数据分析和数据处理时，Pandas库是一个非常常用和强大的工具。Pandas提供了一种灵活而高效的方式来处理和操作数据，尤其是在处理结构化数据时。其中一个重要的功能是Groupby操作，它允许我们根据某个值来将数据分组，并对每个组进行相应的操作和统计。

Groupby操作是一种基于某个列或多个列的值依赖于数据框的分组操作。它类似于SQL中的GROUP BY语句，可以对数据进行分组、聚合和转换操作。在Pandas中，Groupby操作非常简单，只需要调用DataFrame对象的groupby()方法即可。

首先，让我们来看一个简单的示例代码，以便更好地理解Groupby操作的原理和用法。

Python
import Pandas as pd
# 创建一个数据框
data = {'Name': ['Tom', 'Nick', 'John', 'Tom', 'Nick', 'John'],
        'Age': [20, 25, 30, 35, 40, 45],
        'City': ['New York', 'Paris', 'London', 'New York', 'Paris', 'London'],
        'Salary': [50000, 60000, 70000, 80000, 90000, 100000]}
df = pd.DataFrame(data)
# 使用Groupby操作，按照Name列进行分组
grouped = df.groupby('Name')
# 对分组后的数据进行统计操作，比如求平均值
mean_salary = grouped['Salary'].mean()
print(mean_salary)

上述代码中，我们首先创建了一个包含姓名、年龄、城市和薪水的数据框。然后，我们使用groupby()方法按照姓名进行分组，并将分组后的数据保存在一个新的变量中。接下来，我们可以对分组后的数据进行各种操作，比如计算平均薪水。

接下来，让我们更详细地了解Groupby操作的各种用法和功能。

1. 分组并计算统计量

Groupby操作最常见的用途之一是对数据进行分组并计算统计量。比如，我们可以根据某个列的值将数据分组，然后对分组后的数据进行求和、平均值、中位数等统计操作。

Python
# 按照城市进行分组，并计算平均薪水和年龄
grouped_city = df.groupby('City')
mean_salary_city = grouped_city['Salary'].mean()
mean_age_city = grouped_city['Age'].mean()
print(mean_salary_city)
print(mean_age_city)

上述代码中，我们按照城市进行分组，并计算了每个城市的平均薪水和平均年龄。

2. 多列分组

除了单列分组外，我们还可以使用多列进行分组。这样可以更细粒度地对数据进行分组和统计。

Python
# 按照姓名和城市进行分组，并计算平均薪水
grouped_name_city = df.groupby(['Name', 'City'])
mean_salary_name_city = grouped_name_city['Salary'].mean()
print(mean_salary_name_city)

上述代码中，我们按照姓名和城市进行分组，并计算了每个姓名和城市组合的平均薪水。

3. 自定义聚合函数

除了内置的统计函数（如mean、sum、count等）外，我们还可以自定义聚合函数。这样可以根据具体需求对数据进行更复杂的统计和计算。

Python
# 自定义聚合函数，计算薪水的标准差和中位数
def custom_agg_func(series):
    return {'std': series.std(), 'median': series.median()}
agg_result = grouped_city['Salary'].agg(custom_agg_func)
print(agg_result)

上述代码中，我们自定义了一个聚合函数custom_agg_func，用于计算薪水的标准差和中位数。然后，我们使用agg()方法将自定义函数应用于分组后的数据，得到了每个城市的薪水标准差和中位数。

4. 过滤数据

除了对数据进行分组和统计外，Groupby操作还可以用于数据的过滤。我们可以根据某个条件过滤掉一部分数据，只保留满足条件的数据。

Python
# 过滤出薪水超过80000的数据
filtered_data = df.groupby('Name').filter(lambda x: x['Salary'].mean() > 80000)
print(filtered_data)

上述代码中，我们根据薪水的平均值进行过滤，只保留薪水超过80000的数据。

5. 分组和转换

最后，Groupby操作还可以用于数据的转换。我们可以对分组后的数据进行相应的转换操作，比如计算相对于分组平均值的差异。

Python
# 计算每个人的薪水相对于城市平均薪水的差异
df['Salary_diff'] = df.groupby('City')['Salary'].transform(lambda x: x - x.mean())
print(df)

上述代码中，我们计算了每个人的薪水相对于所在城市平均薪水的差异，并将结果保存在新的列中。

通过以上的介绍和示例代码，我们可以看到，Groupby操作在Pandas中是一个非常强大和灵活的功能。它可以帮助我们对数据进行分组、聚合、转换和过滤操作，从而更好地理解和分析数据。无论是在数据预处理、特征工程还是数据分析过程中，Groupby操作都是一个非常重要的工具。

因此，在使用Pandas进行数据处理和分析时，我们应该熟练掌握Groupby操作的各种用法和技巧，以便更好地利用和处理数据，从而得到更准确和有意义的结果。