如何将csv读入numpy的logging数组？

我想知道是否有一种直接的方式将csv文件的内容导入到logging数组中，这与R的read.table() ， read.delim()和read.csv()系列将数据导入到R数据框？

或者是使用csv.reader（） ，然后应用像numpy.core.records.fromrecords() ？

你可以使用Numpy的genfromtxt()方法来做到这一点，通过设置delimiter kwarg为逗号。 

 from numpy import genfromtxt my_data = genfromtxt('my_file.csv', delimiter=',')

有关该function的更多信息可以在其各自的文档中find。

我会推荐pandas库的read_csv函数： 

 import pandas as pd df=pd.read_csv('myfile.csv', sep=',',header=None) df.values array([[ 1. , 2. , 3. ], [ 4. , 5.5, 6. ]])

这给了pandasDataFrame – 允许许多有用的数据处理function，这是不能直接与numpylogging数组一起使用的 。

DataFrame是一个具有可能不同types列的二维标签数据结构。 你可以把它想成一个电子表格或SQL表格…

我也会推荐genfromtxt 。 但是，由于问题要求logging数组 ，而不是正常的数组，所以需要将genfromtxt dtype=None参数添加到genfromtxt调用中：

给定一个input文件， myfile.csv ： 

 1.0, 2, 3 4, 5.5, 6 import numpy as np np.genfromtxt('myfile.csv',delimiter=',')

给出一个数组： 

 array([[ 1. , 2. , 3. ], [ 4. , 5.5, 6. ]])

和 

 np.genfromtxt('myfile.csv',delimiter=',',dtype=None)

给出一个logging数组： 

 array([(1.0, 2.0, 3), (4.0, 5.5, 6)], dtype=[('f0', '<f8'), ('f1', '<f8'), ('f2', '<i4')])

这样做的好处是可以轻松导入多种数据types的文件（包括string） 。

您也可以尝试recfromcsv() ，它可以猜测数据types并返回格式正确的logging数组。

我定时了 

 from numpy import genfromtxt genfromtxt(fname = dest_file, dtype = (<whatever options>))

与 

 import csv import numpy as np with open(dest_file,'r') as dest_f: data_iter = csv.reader(dest_f, delimiter = delimiter, quotechar = '"') data = [data for data in data_iter] data_array = np.asarray(data, dtype = <whatever options>)

在460万行，大约70列，发现numpypath需要2分16秒，csv-list理解方法花了13s。

我会推荐csv-list理解方法，因为它很可能依赖于预编译的库而不是解释器那样多的numpy。 我怀疑pandas的方法会有类似的解释开销。

您可以使用此代码将csv文件数据发送到数组中 

 import numpy as np csv = np.genfromtxt('test.csv',delimiter=",") print(csv)

我试过这个： 

 import pandas as p import numpy as n closingValue = p.read_csv("<FILENAME>", usecols=[4], dtype=float) print(closingValue)

当我尝试使用Numpy和Pandas时，使用pandas有很多好处： – 更快 – 更less的CPU使用率 – 与Numpy genfromtxt相比1/3内存使用率

这是我的testing代码： 

 $ for f in test_pandas.py test_numpy_csv.py ; do /usr/bin/time python $f; done 2.94user 0.41system 0:03.05elapsed 109%CPU (0avgtext+0avgdata 502068maxresident)k 0inputs+24outputs (0major+107147minor)pagefaults 0swaps 23.29user 0.72system 0:23.72elapsed 101%CPU (0avgtext+0avgdata 1680888maxresident)k 0inputs+0outputs (0major+416145minor)pagefaults 0swaps

test_numpy_csv.py 

 from numpy import genfromtxt train = genfromtxt('/home/hvn/me/notebook/train.csv', delimiter=',')

test_pandas.py 

 from pandas import read_csv df = read_csv('/home/hvn/me/notebook/train.csv')

数据文件： 

 du -h ~/me/notebook/train.csv 59M /home/hvn/me/notebook/train.csv

随着版本的numpy和pandas： 

 $ pip freeze | egrep -i 'pandas|numpy' numpy==1.13.3 pandas==0.20.2
Interesting Posts