七爪源码：为什么我停止将 DataFrames 转储到 CSV 以及为什么你也一定会这样做

是时候告别 pd.to_csv() 和 pd.read_csv()

构建前端到前端数据库马达的燃气具有挑战性和拒绝。本人亲身经历过，全过程格外繁琐，常常产生无数两前端机密文件。虽然这些机密文件一般而言当作原位或一同燃气中的的其他计算机系统，但不不会通过不为这些两前端机密文件自由选择合适的PNG而在偶然中的损害试运；大时和大大提高传输拒绝——首先要自由选择的也许CSV。

作为一名数据库科学家，我究竟 CSV 在数据库载入、写入、预览、探索等以外缺少了相当程度的灵活性。它是您、我以及近乎所有常用 DataFrames 的人的众所周知PNG。一般而言只能，我也往往利用 CSV PNG来解析 DataFrame，直到近期我推断出了一些 CSV 的星期稳定性和传输最佳化的替代设计方案。

幸运的是，Pandas 缺少了多种文档，您可以将 DataFrame 保留为，例如：

CSV 泡菜 顶上木地板 毛发 JSON HDF5

这促使我根据它们在一般而言参数上的尽情展现对上述PNG顺利完成排名：

它们在存储设备上占用的密闭。 他们对存储设备顺利完成读写操作所总成本的星期。

试验控制器

出于试验最终目标，我在 Python 中的生成了一个相关联一百万；大三十列的随机数据库集——以外数组、浮点数和个数常量。

我将示意图描述的每个试验重复了十次，以提高随机性并从观察到的结果中的给出不合理的给出结论。示意图的统计数字库是十次试验的平均值。

试验

试验一：保留后存储设备密闭利用稳定性

确实，如果您正试图寻找内存最佳化PNG，HDF5 不无论如何是您的众所周知。 在这里，常用的存储设备密闭是上头条形图中的可见的一般而言最佳PNG的两倍多——JSON，它本身的大小不一近似于其他四种PNG的两倍。 到此前，Parquet、CSV、Feather 和 Pickle 似乎是传输我们的 DataFrame 的合适选项，因为它们都为相异比例的数据库阻塞了大致相异的二级传输部分。

试验 2：写入和保留所均需的星期

这是我们开始注意到常用 CSV PNG的局限性的地方。

现在让我们之外考虑写入星期。载入 CSV 所用的星期近乎是这里最好的替代设计方案 — pickle 的三倍。此外，正如我们之前看到的，Pickle 和 CSV 占用相异比例的密闭，那么为什么要自由选择较较慢的选项呢？ 关于减省星期，CSV 是最昂贵的自由选择——消耗量近似于 Feather 的 8 倍。

确实，在将 DataFrame 传输为特定PNG时，您在写入时无论如何不会再度常用相异的PNG。换句话说，一旦您将 DataFrame 传输为 pickle，您别无自由选择，只能将其作为 pickle 机密文件载入。因此，在上头的第三个条形图中的，我们查看它们的总稳定性，即写入星期 + 保留星期。

可悲的是，CSV 并不是我们的最佳自由选择。 与 Feather、Parquet 和 Pickle 相比，CSV 平均比这些PNG较慢 2.5 倍，这非常高。

无论如何，Parquet 和 Feather 都是最好的可用文档，可以从我们在这序言中的探讨的六种文档中的顺利完成自由选择。

结束语

我究竟 CSV 令人兴奋。我也很迷恋它们，我迷恋 CSV 的状况有很多，例如：

如果所均需，CSV 受限制我只载入列的集合，从而减省 RAM 和载入星期。 CSV 只不过上是一个文本机密文件。因此，Pandas 受限制我查看 CSV 中的存在的前 n ；大（例如 5、10、15 等）；大。 Excel 是我迷恋的物件之一，我可以直接在 Excel 中的关上 CSV。

但是，CSV 正试图驱使您的燃气。它实质上是。只不过因为时常都有 CSV，您将总成本大量星期在读写操作上。

除非您所均需在 Excel 等非 Python 环境以外查看 DataFrame，否则您实质上不所均需 CSV。您无论如何更迷恋 Parquet、Feather 或 Pickle，因为正如我们在上头观察到的，它们缺少的读写操作比 CSV 更快。

所一般而言次当你要执；大 pd.to_csv() 时，曾说你应该真的所均需一个 CSV。

株洲看妇科的医院哪家好
深圳看白癜风的专业医院
南京男科哪家医院最好
北京妇科医院哪家看的好
藿香正气液有什么作用