BigQuery 加载作业失败并显示“无法将‘文本’解析为布尔值”

Python

在使用 BigQuery 加载作业时，有时会遇到错误信息“无法将‘文本’解析为布尔值”。这个错误信息意味着在加载数据时，BigQuery 无法将某个列的文本值解析为布尔值。

这个问题通常出现在尝试将文本数据加载到布尔类型的列中时。在 BigQuery 中，布尔类型的列只能接受布尔值，即 True 或 False。如果数据中存在无法解析为布尔值的文本，则会出现解析错误。

为了解决这个问题，我们可以采取以下步骤：

1. 检查数据源

首先，我们需要检查数据源，确保其中的文本值符合布尔类型的要求。查看数据源中的文本列，确保其中的值只包含 True 或 False，没有其他非布尔值的文本。

例如，假设我们有一个名为 data 的数据集，其中包含一个名为 is_active 的布尔类型列。我们可以运行以下查询来检查数据源中是否存在无法解析为布尔值的文本：

SELECT is_active
FROM <code>project.dataset.data</code>
WHERE is_active IS NOT NULL
AND is_active != 'True'
AND is_active != 'False'

如果查询返回了结果，说明数据源中存在不符合布尔类型要求的文本值。

2. 清洗数据

一旦确定了数据源中的问题，我们需要对数据进行清洗，将无法解析为布尔值的文本进行修复或删除。

可以使用 SQL 的 CASE 语句来处理这些数据。假设我们想将无法解析为布尔值的文本设置为默认值 False，我们可以运行以下查询：

UPDATE <code>project.dataset.data</code>
SET is_active = FALSE
WHERE is_active IS NOT NULL
AND is_active != 'True'
AND is_active != 'False'

这将把所有无法解析为布尔值的文本设置为 False。

3. 重新加载数据

完成数据清洗后，我们可以重新加载数据到 BigQuery 中。确保在加载数据时，将文本列映射到正确的布尔类型列。

以下是一个示例代码，展示了如何使用 Python 的 Google-cloud-bigquery 库加载数据到 BigQuery 中：

Python
from Google.cloud import bigquery
# 设置 BigQuery 客户端
client = bigquery.Client()
# 数据加载配置
job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("is_active", "BOOLEAN"),
        # 添加其他列的定义...
    ],
    # 添加其他加载配置...
)
# 加载数据
job = client.load_table_from_uri(
    "gs://bucket/path/to/data.csv",
    "project.dataset.table",
    job_config=job_config,
)
# 等待加载作业完成
job.result()
# 检查加载作业状态
if job.errors:
    for error in job.errors:
        print(error)
else:
    print("数据加载成功！")

在这个示例代码中，我们首先设置了 BigQuery 客户端，并定义了数据加载的配置。然后，我们使用 load_table_from_uri 方法加载数据，并等待加载作业完成。最后，我们检查加载作业的状态，如果出现错误则打印错误信息，否则输出加载成功的消息。

在使用 BigQuery 加载作业时，如果遇到了错误信息“无法将‘文本’解析为布尔值”，我们可以通过检查数据源、清洗数据和重新加载数据来解决这个问题。确保数据源中的文本值符合布尔类型的要求，如果存在无法解析的文本，则进行数据清洗并重新加载数据。通过这些步骤，我们可以成功加载数据到 BigQuery 中，避免解析错误的发生。