使用Pandas处理可变数量的列 – Python

我有一个看起来像这样的数据集(最多5列 – 但可以更less)

1,2,3 1,2,3,4 1,2,3,4,5 1,2 1,2,3,4 .... 

我正在尝试使用pandasread_table将其读入5列数据框。 我想阅读这个在没有额外的按摩。

如果我尝试

 import pandas as pd my_cols=['A','B','C','D','E'] my_df=pd.read_table(path,sep=',',header=None,names=my_cols) 

我得到一个错误 – “列名有5个字段,数据有3个字段”。

在读取数据的同时,有没有办法让pandas填补NaN中缺失的列?

3 Solutions collect form web for “使用Pandas处理可变数量的列 – Python”

似乎有效的方法之一(至less在0.10.1和0.11.0.dev-fc8de6d):

 >>> !cat ragged.csv 1,2,3 1,2,3,4 1,2,3,4,5 1,2 1,2,3,4 >>> my_cols = ["A", "B", "C", "D", "E"] >>> pd.read_csv("ragged.csv", names=my_cols, engine='python') ABCDE 0 1 2 3 NaN NaN 1 1 2 3 4 NaN 2 1 2 3 4 5 3 1 2 NaN NaN NaN 4 1 2 3 4 NaN 

请注意,这种方法要求您为所需的列提供名称。 不如一般其他方式一般,但适用时运作良好。

我也有兴趣知道这是否可能,从文件看,似乎并非如此。 你可能做的是逐行读取文件,并将每个读数连接到一个DataFrame:

 import pandas as pd df = pd.DataFrame() with open(filepath, 'r') as f: for line in f: df = pd.concat( [df, pd.DataFrame([tuple(line.strip().split(','))])], ignore_index=True ) 

它的作品,但不是在最优雅的方式,我猜…

好。 不知道这是多么有效 – 但这是我所做的。 很想听听有没有更好的方法来做到这一点。 谢谢 !

 from pandas import DataFrame list_of_dicts=[] labels=['A','B','C','D','E'] for line in file: line=line.rstrip('\n') list_of_dicts.append(dict(zip(labels,line.split(',')))) frame=DataFrame(list_of_dicts) 
  • Matplotlib:如何设置当前的数字?
  • 在Python中,我如何表示重写一个方法?
  • 如何使用Python程序中的youtube-dl
  • Python 3解释器是否具有JITfunction?
  • python错误:没有名为pylab的模块
  • 我如何分割和parsingPython中的string?
  • (非常)基本的Python客户端套接字示例
  • Python:相对于当前正在运行的脚本添加到sys.path的最佳方法
  • 在pandas中混洗/置换DataFrame
  • Matplotlib图facecolor(背景颜色)
  • 函数,未绑定方法和绑定方法有什么区别?