Python Pandas错误标记数据

我试图使用pandas来操纵.csv文件,但我得到这个错误:

pandas.parser.CParserError: Error tokenizing data. C error: Expected 2 fields in line 3, saw 12 

我试图读pandas文档,但什么都没发现。

我的代码很简单:

 path = 'GOOG Key Ratios.csv' #print(open(path).read()) data = pd.read_csv(path) 

我该如何解决这个问题? 我应该使用csv模块还是其他语言?

谢谢你们

文件来自晨星

13 Solutions collect form web for “Python Pandas错误标记数据”

你也可以尝试;

 data = pd.read_csv('file1.csv', error_bad_lines=False) 

这可能是一个问题

  • 数据中的分隔符
  • 第一行,@TomAugspurger刻意指出

要解决这个问题,请在调用read_csv时指定sep和/或header参数。 例如,

 df = pandas.read_csv(fileName, sep='delimiter', header=None) 

在上面的代码中, sep定义了你的分隔符和header=None告诉大pandas你的源数据没有行标题/列标题。 因此,文档说:“如果文件不包含标题行,那么你应该明确地传递标题=无”。 在这种情况下,pandas自动为每个字段{0,1,2,…}创build整数字符。

根据文档,定界符的东西不应该是一个问题。 文档说“如果sep是None [未指定],将尝试自动确定这一点。” 然而我没有得到好运,包括带有明显分隔符的例子。 但是,定义sep并不是很困难。

parsing器被文件头弄糊涂了。 它读取第一行并推断该行的列数。 但前两行不代表文件中的实际数据。

尝试使用data = pd.read_csv(path, skiprows=2)

我也有这个问题,但可能是由于不同的原因。 我的CSV中有一些尾随的逗号,里面增加了pandas试图读取的一列。 使用下面的工作,但它只是忽略了坏行:

 data = pd.read_csv('file1.csv', error_bad_lines=False) 

如果你想保持行的丑恶types的处理错误是做类似下面的事情:

 line = [] expected = [] saw = [] cont = True while cont == True: try: data = pd.read_csv('file1.csv',skiprows=line) cont = False except Exception as e: errortype = e.message.split('.')[0].strip() if errortype == 'Error tokenizing data': cerror = e.message.split(':')[1].strip().replace(',','') nums = [n for n in cerror.split(' ') if str.isdigit(n)] expected.append(int(nums[0])) saw.append(int(nums[2])) line.append(int(nums[1])-1) else: cerror = 'Unknown' print 'Unknown Error - 222' if line != []: # Handle the errors however you want 

我开始编写一个脚本来将行重新插入到DataFrame中,因为坏行将由上面代码中的variables“line”给出。 这可以通过简单地使用csv阅读器来避免。 希望pandas开发者能够更轻松地处理这种情况。

这绝对是分隔符的问题,因为大多数csv CSV都是使用sep='/t'创buildsep='/t'所以使用分隔符/t使用制表符(\t)尝试read_csv 。 所以,试着用下面的代码行打开。

 data=pd.read_csv("File_path", sep='\t') 

我遇到了同样的问题。 在同一个源文件上使用pd.read_table()似乎工作。 我无法追查这个原因,但对我的情况来说这是一个有用的解决方法。 也许更有知识的人可以更多地了解为什么它的工作。

编辑:我发现,当你的文件中有一些与实际数据没有相同格式的文本时,这个错误就会出现。 这通常是页眉或页脚信息(大于一行,所以skip_header不起作用),它们不会被实际数据逗号分隔(当使用read_csv时)。 使用read_table使用制表符作为分隔符,可以绕过用户当前的错误,但引入其他错误。

我通常通过将额外的数据读入文件来解决这个问题,然后使用read_csv()方法。

确切的解决scheme可能会有所不同,具体取决于您的实际文件,但是这种方法在几种情况下适用于我

您的CSV文件可能具有可变数量的列,并且read_csv几行推断出列数。 在这种情况下解决它的两种方法:

1)将CSV文件更改为具有最大列数的虚拟第一行(并指定header=[0]

2)或者使用names = list(range(0,N)) ,其中N是最大列数。

我自己有几次这个问题。 几乎每一次,原因是我试图打开的文件不是一个正确保存的CSV开始。 而“恰当地”,我的意思是每行有相同数量的分隔符或列。

通常情况下,这是因为我在Excel中打开了CSV然后不正确地保存了它。 即使文件扩展名仍然是.csv,纯CSV格式已被更改。

用pandasto_csv保存的任何文件都将被正确格式化,不应该有这个问题。 但是如果你用另一个程序打开它,它可能会改变结构。

希望有所帮助。

虽然不是这个问题的情况下,这个错误也可能出现在压缩数据。 显式设置kwarg compression的值解决了我的问题。

 result = pandas.read_csv(data_source, compression='gzip') 

在尝试使用空格,逗号和引号读取制表符分隔的表格时,我遇到了类似的问题:

 1115794 4218 "k__Bacteria", "p__Firmicutes", "c__Bacilli", "o__Bacillales", "f__Bacillaceae", "" 1144102 3180 "k__Bacteria", "p__Firmicutes", "c__Bacilli", "o__Bacillales", "f__Bacillaceae", "g__Bacillus", "" 368444 2328 "k__Bacteria", "p__Bacteroidetes", "c__Bacteroidia", "o__Bacteroidales", "f__Bacteroidaceae", "g__Bacteroides", "" import pandas as pd # Same error for read_table counts = pd.read_csv(path_counts, sep='\t', index_col=2, header=None, engine = 'c') pandas.io.common.CParserError: Error tokenizing data. C error: out of memory 

这说明它与C语法分析引擎(这是默认的)有关。 也许改成一个python会改变任何东西

 counts = pd.read_table(path_counts, sep='\t', index_col=2, header=None, engine='python') Segmentation fault (core dumped) 

现在这是一个不同的错误。
如果我们继续尝试从表格中删除空格,那么python引擎的错误会再次发生变化:

 1115794 4218 "k__Bacteria","p__Firmicutes","c__Bacilli","o__Bacillales","f__Bacillaceae","" 1144102 3180 "k__Bacteria","p__Firmicutes","c__Bacilli","o__Bacillales","f__Bacillaceae","g__Bacillus","" 368444 2328 "k__Bacteria","p__Bacteroidetes","c__Bacteroidia","o__Bacteroidales","f__Bacteroidaceae","g__Bacteroides","" _csv.Error: ' ' expected after '"' 

而且很明显,pandas在parsing我们的行时遇到了问题。 要用python引擎parsing表,我需要事先从表中删除所有的空格和引号。 与此同时,即使用逗号排列,C语言引擎也不停地崩溃。

为了避免创build一个replace的新文件,我做了这个,因为我的表很小:

 from io import StringIO with open(path_counts) as f: input = StringIO(f.read().replace('", ""', '').replace('"', '').replace(', ', ',').replace('\0','')) counts = pd.read_table(input, sep='\t', index_col=2, header=None, engine='python') 

TL;博士
更改parsing引擎,尽量避免数据中的任何非定界的引号/逗号/空格。

我有一个数据集,预先存在的行号,我用index_col:

 pd.read_csv('train.csv', index_col=0) 

试试: pandas.read_csv(path, sep = ',' ,header=None)

有时候问题不在于如何使用python,而是使用原始数据。
我得到了这个错误信息

 Error tokenizing data. C error: Expected 18 fields in line 72, saw 19. 

原来,在栏目描述中有时候会有逗号。 这意味着需要清理CSV文件或使用其他分隔符。

  • 将variables添加到元组
  • 如何在Pyplot的所有子图上设置一个主标题?
  • ImportError:没有名为matplotlib.pyplot的模块
  • Python - 如何将“操作系统级别的句柄转换为打开的文件”转换为文件对象?
  • 保存对象(数据持久性)
  • Pythonic方法创build多个列表中包含的所有值的联合
  • 为什么OrderedDict的值不相等?
  • 什么是“这个”模块的源代码?
  • 一个虚拟主机上的多个mod_wsgi应用程序指向错误的应用程序
  • 最快的方法来检查列表中是否存在一个值
  • 在Python中解压缩文件