pandas - 与缺失值合并

Pandas

使用Pandas合并缺失值

在数据分析中，经常会遇到需要合并多个数据集的情况。而在合并数据集时，往往会遇到一些数据缺失的情况。为了有效地处理这些缺失值，Pandas提供了一些强大的工具和方法，可以帮助我们合并数据集并处理缺失值。

合并数据集

在Pandas中，我们可以使用merge()函数来合并两个或多个数据集。合并数据集时，我们需要指定一个共同的键（或多个键），根据这些键来进行合并。merge()函数提供了多种合并方式，包括内连接、外连接、左连接和右连接等。

下面是一个简单的例子，展示了如何使用merge()函数合并两个数据集：

Python
import Pandas as pd
# 创建两个数据集
df1 = pd.DataFrame({'A': [1, 2, 3], 'B': ['a', 'b', 'c']})
df2 = pd.DataFrame({'A': [1, 2, 4], 'C': ['x', 'y', 'z']})
# 合并数据集
df_merged = pd.merge(df1, df2, on='A')
print(df_merged)

输出结果为：

   A  B  C
0  1  a  x
1  2  b  y

上述代码中，我们创建了两个数据集df1和df2，分别包含'A'和'B'列以及'A'和'C'列。然后，我们使用merge()函数将这两个数据集根据'A'列进行合并。合并后的结果是一个包含三列的新数据集，其中'A'列是两个数据集共有的，'B'列和'C'列分别来自df1和df2。

处理缺失值

当合并数据集时，可能会出现某些行或列在一个数据集中存在，而在另一个数据集中不存在的情况。这就意味着合并后的数据集中可能会出现缺失值。为了处理这些缺失值，Pandas提供了一些方法，如fillna()和dropna()等。

fillna()函数

fillna()函数可以用指定的值或方法来填充缺失值。下面是一个示例代码：

Python
import Pandas as pd
# 创建一个包含缺失值的数据集
df = pd.DataFrame({'A': [1, 2, None], 'B': ['a', None, 'c']})
# 使用fillna()函数填充缺失值
df_filled = df.fillna(0)
print(df_filled)

输出结果为：

     A  B
0  1.0  a
1  2.0  0
2  0.0  c

上述代码中，我们创建了一个包含缺失值的数据集df。然后，我们使用fillna()函数将缺失值填充为0。填充后的结果是一个新的数据集df_filled，其中缺失值被0替代。

dropna()函数

dropna()函数可以用于删除包含缺失值的行或列。下面是一个示例代码：

Python
import Pandas as pd
# 创建一个包含缺失值的数据集
df = pd.DataFrame({'A': [1, 2, None], 'B': ['a', None, 'c']})
# 使用dropna()函数删除包含缺失值的行
df_dropped = df.dropna()
print(df_dropped)

输出结果为：

     A  B
0  1.0  a

上述代码中，我们创建了一个包含缺失值的数据集df。然后，我们使用dropna()函数删除包含缺失值的行。删除后的结果是一个新的数据集df_dropped，其中只保留了不包含缺失值的行。

使用Pandas合并缺失值的案例

假设我们有两个数据集df1和df2，分别包含学生的姓名和成绩信息。其中，df1包含了所有学生的姓名，而df2只包含部分学生的成绩信息。我们希望合并这两个数据集，得到一个包含所有学生姓名和对应成绩的数据集。

Python
import Pandas as pd
# 创建包含学生姓名的数据集
df1 = pd.DataFrame({'姓名': ['张三', '李四', '王五', '赵六']})
# 创建包含学生成绩的数据集
df2 = pd.DataFrame({'姓名': ['张三', '王五'], '成绩': [90, 85]})
# 合并数据集
df_merged = pd.merge(df1, df2, on='姓名', how='left')
print(df_merged)

输出结果为：

   姓名    成绩
0  张三  90.0
1  李四   NaN
2  王五  85.0
3  赵六   NaN

上述代码中，我们创建了两个数据集df1和df2，分别包含学生的姓名和成绩信息。然后，我们使用merge()函数将这两个数据集根据'姓名'列进行合并，合并方式为左连接（how='left'）。合并后的结果是一个包含两列的新数据集df_merged，其中'姓名'列是两个数据集共有的，'成绩'列来自df2。由于df2中只包含部分学生的成绩信息，因此合并后的数据集中会出现缺失值。