七爪源码：是时候逝去 pd.read_csv() 和 pd.to_csv()

讨论 Pandas 的另一个主要通告

Pandas 对 CSV 的驱动程序系统设计是模版的，这使得它们颇为这样一来和费时。 当我在这里看见足够的立体化转化空间时，这令人沮丧，但幸好的是，Pandas 不备有此特性。 尽管我从不赞成一开始就可用 Pandas 创建人 CSV（商量读物我以前的博文洞察情况），但我究竟在某些完全，除了可用 CSV 都是别无为了让。

因此，在这一本书当中，我们将探索 Dask 和 DataTable，这两个最受信息研究小组欢迎的类 Pandas 库。 我们将根据 Pandas、Dask 和 Datatable 在以下参数上的乏善可陈对它们进行排在：

1. 加载 CSV 并取得 PANDAS DATAFRAME 所无需的星期

如果我们通过 Dask 和 DataTable 加载 CSV，它们将分别降解 Dask DataFrame 和 DataTable DataFrame，而不是 Pandas DataFrame。 理论上我们自已坚持传统的 Pandas 语法和数组（由于与众不同），我们不必首先将它们转换成为 Pandas DataFrame，如下所示。

2. 将 PANDAS DATAFRAME 存储器到 CSV 所无需的星期

要能是从个数的 Pandas DataFrame 降解 CSV 元信息。 对于 Pandas，我们已经究竟 df.to_csv() 步骤。 但是，要从 Dask 和 DataTable 创建人 CSV，我们首先无无需将个数的 Pandas DataFrame 转换成为它们各自的 DataFrame，然后将它们存储器在 CSV 当中。 因此，我们还将在此统计分析当中考量此 DataFrame 转换成所费时的星期。

试验中设备：

出于试验中最终目标，我在 Python 当中降解了一个随机信息集，其当中举例来问道可调行和三十列——有数字符串、DFT和整数信息类型。 我将一个大描述的每个试验中每一次了五次，以降低随机性并从观察到的结果当中得出公平的事实。 我在下一节当中调查报告的信息是五个试验中的平均数。 Python周边环境和库： 蟒蛇 3.9.12 熊猫 1.4.2 信息表 1.0.0 黎明 2022.02.1

试验中 1：加载 CSV 所无需的星期

下图描述了 Pandas、Dask 和 DataTable 加载 CSV 元信息并降解 Pandas DataFrame 所费时的星期（以秒为各单位）。 CSV 的个数从 100k 到 500 万差不多。

试验中结果表明，当个数差不多一百万时，Dask 和 Pandas 从 CSV 降解 Pandas DataFrame 的星期大致相同。 但是，当我们多远超一百万于在，Dask 的性能都会再加，降解 Pandas DataFrame 所费时的星期要比 Pandas 本身颇为少。 在这两种完全，Datatable 在 Pandas 当中降解 DataFrame 所无需的星期总和，备有高远超 4 到 5 倍的加速——使其成为在世界上最好的为了让。

试验中 2：保存到 CSV 所无需的星期

下图描述了 Pandas、Dask 和 DataTable 从个数的 Pandas DataFrame 降解 CSV 元信息所费时的星期（以秒为各单位）。 个数仅限于从 100k 到 500 万。

在所有完全，Dask 在将 Pandas DataFrame 存储器到 CSV 上都的乏善可陈都比 Pandas 差。 与试验中 1 类似，DataTable 乏善可陈最好——相比较 Pandas 将保存更进一步大大提高了仅有 8 倍。

结束语

不对问道，我不是 CSV 的毫无疑问粉丝。 如果您全盘读物了我早先的博文（我在上面链接过，或者您可以在这里读物）以及您直到现在正在读物的博文，您不太可能也都会引起我的真挚。 由于我发现了与 CSV 相关的众多问题，因此我已必无需禁用它们。

先前，我自已问道，除非您无无需在 Excel 等非 Python 周边环境都是查看 DataFrame，否则您根本不无无需 CSV。 首选 Parquet、Feather 或 Pickle 等文件格式来存储器 DataFrame。 尽管如此，如果您看不见其他附加，至少可以通过利用 DataTable 而不是 Pandas 来优转化您的重定向和输出系统设计。

成都风湿医院哪家好
干眼症用什么滴眼液好一点
天津看牛皮癣到哪家医院好
天津白癜风医院哪家医院好
长沙看白癜风去什么医院最好