arrow与pandas切换关系及arrow发展目标?

Pandas

1个回答

写回答

G2333

2026-01-25 03:55

+ 关注

Pandas
Pandas

并非如此。arrow是由Pandas的作者开发的,其目标之一便是解决Pandas以numpy为底层所存在的问题,切换到arrow一直是有规划的,在网上能追溯到2017年的相关文章。只不过Pandas规模庞大,切换起来并非易事。从0.21.0版本开始将pyarrow作为可选依赖引入,在1.x版本逐步添加pyarrow兼容层,2.x版本起逐渐把默认配置修改为pyarrow,到3.x版本计划将pyarrow设为必选依赖,从而完成切换,这一过程较为漫长,在PDEP - 10中能看到相关的历史与规划。Polars作为新项目,没有太多历史负担,可以轻装上阵。当然,如今arrow有着更宏大的目标:提供内存数据分析(in - memory analytics)的开发平台。近几年提出了Arrow Flight RPC/SQL、ADBC等概念并开展了相关项目,它作为独立项目发展得很不错,clickhouse、duckdb、databend等数据相关项目对arrow都或多或少存在依赖,像基于arrow的创新项目DataFusion也有不少。

举报有用(0分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号