使用Pandas处理可变数量的列 – Python

我有一个看起来像这样的数据集(最多5列 – 但可以更less)

1,2,3 1,2,3,4 1,2,3,4,5 1,2 1,2,3,4 .... 

我正在尝试使用pandasread_table将其读入5列数据框。 我想阅读这个在没有额外的按摩。

如果我尝试

 import pandas as pd my_cols=['A','B','C','D','E'] my_df=pd.read_table(path,sep=',',header=None,names=my_cols) 

我得到一个错误 – “列名有5个字段,数据有3个字段”。

在读取数据的同时,有没有办法让pandas填补NaN中缺失的列?

  • 在python中复制构造函数?
  • Python解码Unicode不受支持
  • Flask视图返回错误“视图函数没有返回响应”
  • Python subprocess.Popen“OSError:无法分配内存”
  • Django中的类视图
  • 如何使用Python检查文件是否存在?
  • 追加新的行到旧的csv文件python
  • 如何configurationDjango进行简单的开发和部署?
  • 3 Solutions collect form web for “使用Pandas处理可变数量的列 – Python”

    似乎有效的方法之一(至less在0.10.1和0.11.0.dev-fc8de6d):

     >>> !cat ragged.csv 1,2,3 1,2,3,4 1,2,3,4,5 1,2 1,2,3,4 >>> my_cols = ["A", "B", "C", "D", "E"] >>> pd.read_csv("ragged.csv", names=my_cols, engine='python') ABCDE 0 1 2 3 NaN NaN 1 1 2 3 4 NaN 2 1 2 3 4 5 3 1 2 NaN NaN NaN 4 1 2 3 4 NaN 

    请注意,这种方法要求您为所需的列提供名称。 不如一般其他方式一般,但适用时运作良好。

    我也有兴趣知道这是否可能,从文件看,似乎并非如此。 你可能做的是逐行读取文件,并将每个读数连接到一个DataFrame:

     import pandas as pd df = pd.DataFrame() with open(filepath, 'r') as f: for line in f: df = pd.concat( [df, pd.DataFrame([tuple(line.strip().split(','))])], ignore_index=True ) 

    它的作品,但不是在最优雅的方式,我猜…

    好。 不知道这是多么有效 – 但这是我所做的。 很想听听有没有更好的方法来做到这一点。 谢谢 !

     from pandas import DataFrame list_of_dicts=[] labels=['A','B','C','D','E'] for line in file: line=line.rstrip('\n') list_of_dicts.append(dict(zip(labels,line.split(',')))) frame=DataFrame(list_of_dicts)