使用h5py在Python中对大数据进行分析工作的经验?

我做了很多统计工作,并使用Python作为我的主要语言。 我使用的一些数据集可能需要20GB的内存,这使得在numpy,scipy和PyIMSL中使用内存中的函数几乎不可能。 统计分析语言SAS在这方面具有很大的优势,它可以对硬盘数据进行操作,而不是严格按照内存处理。 但是,我想避免在SAS中编写大量代码(出于各种原因),因此我正试图确定我有哪些Python选项(除了购买更多的硬件和内存)。

我应该澄清,像map-reduce这样的方法在我的大部分工作中都没有帮助,因为我需要对整套数据进行操作(例如计算分位数或拟合逻辑回归模型)。

最近我开始玩h5py,并认为这是我发现允许Python像SAS一样操作并通过磁盘(通过hdf5文件)操作数据的最佳select,同时仍然可以利用numpy / scipy / matplotlib等。想听听有没有人在类似的环境中使用Python和h5py,以及他们发现了什么。 有没有人能够在迄今为止由SAS主导的“大数据”设置中使用Python?

编辑:购买更多的硬件/内存当然可以提供帮助,但从IT的angular度来看,我很难将Python卖给需要分析庞大数据集的组织,当Python(或R或MATLAB等)需要将数据保存在内存。 SAS在这里仍然有很强的卖点,因为虽然基于磁盘的分析可能会比较慢,但您可以自信地处理大量的数据集。 所以,我希望Stackoverflower能够帮助我找出如何减less使用Python作为主要的大数据分析语言的感知风险。

    我们使用Python与h5py,numpy / scipy和boost :: python一起进行数据分析。 我们典型的数据集大小可达几百GB。

    HDF5的优点:

    • 可以使用h5view应用程序,h5py / ipython和h5 *命令行工具方便地检查数据
    • API可用于不同的平台和语言
    • 结构数据使用组
    • 使用属性注释数据
    • 无忧的内置数据压缩
    • 单个数据集上的io速度很快

    HDF5陷阱:

    • 性能下降,如果一个h5文件包含太多的数据集/组(> 1000),因为遍历它们是非常缓慢的。 另一方面,io对于一些大的数据集是很快的。
    • 高级数据查询(像SQL)笨拙实施和缓慢(在这种情况下考虑SQLite)
    • 在所有情况下,HDF5都不是线程安全的:必须确保图书馆是用正确的选项编译的
    • 改变h5数据集(resize,删除等)会导致文件大小(在最好的情况下)或者是不可能的(在最坏的情况下)(整个h5文件必须被复制以再次变平)

    这是一个很长的评论,而不是你对h5py的实际问题的回答。 我不使用Python进行统计,并倾向于处理相对较小的数据集,但是可能值得花点时间查看R 的高性能计算的CRAN任务视图,尤其是“大内存和内存不足数据“部分。

    三个原因:

    • 你可以挖掘任何这些软件包的源代码,以获得一般可能帮助你的想法
    • 你可能会发现包名称在searchPython等价物中很有用; 很多R用户也是Python用户
    • 在某些情况下,使用上面链接的包之一链接到R进行特定分析可能会很方便,然后将结果绘制回Python

    我再一次强调,这是我的联盟中的一切,你可能已经知道了这一切。 但是也许这对您或者同样的问题的工作人员是有用的。