将pandas数据框转换为numpy数组,保留索引

我有兴趣了解如何将pandas数据框转换为包含索引的numpy数组,并设置dtypes。

dataframe:

label ABC ID 1 NaN 0.2 NaN 2 NaN NaN 0.5 3 NaN 0.2 0.5 4 0.1 0.2 NaN 5 0.1 0.2 0.5 6 0.1 NaN 0.5 7 0.1 NaN NaN 

转换为数组返回:

 array([[ nan, 0.2, nan], [ nan, nan, 0.5], [ nan, 0.2, 0.5], [ 0.1, 0.2, nan], [ 0.1, 0.2, 0.5], [ 0.1, nan, 0.5], [ 0.1, nan, nan]]) 

不过,我想:

 array([[ 1, nan, 0.2, nan], [ 2, nan, nan, 0.5], [ 3, nan, 0.2, 0.5], [ 4, 0.1, 0.2, nan], [ 5, 0.1, 0.2, 0.5], [ 6, 0.1, nan, 0.5], [ 7, 0.1, nan, nan]], dtype=[('ID', '<i4'), ('A', '<f8'), ('B', '<f8'), ('B', '<f8')]) 

(或类似)

有关如何完成此任何build议? (我不知道现在是否需要一维或二维数组)。我已经看到了一些涉及这个问题的文章,但没有具体涉及dataframe.index。

我正在使用to_csv写数据框磁盘(并将其读回来创build数组),但是比起我的新的pandas来说更喜欢一些更有说服力的东西。

8 Solutions collect form web for “将pandas数据框转换为numpy数组,保留索引”

要将pandas数据框(df)转换为numpy ndarray,请使用以下代码:

df=df.values

现在df变成了一个numpy的ndarray。

pandas有一些内置的…

 numpyMatrix = df.as_matrix() 

我只是链接DataFrame.reset_index()和DataFrame.values函数来获取dataframe的Numpy表示,包括索引:

 In [8]: df Out[8]: ABC 0 -0.982726 0.150726 0.691625 1 0.617297 -0.471879 0.505547 2 0.417123 -1.356803 -1.013499 3 -0.166363 -0.957758 1.178659 4 -0.164103 0.074516 -0.674325 5 -0.340169 -0.293698 1.231791 6 -1.062825 0.556273 1.508058 7 0.959610 0.247539 0.091333 [8 rows x 3 columns] In [9]: df.reset_index().values Out[9]: array([[ 0. , -0.98272574, 0.150726 , 0.69162512], [ 1. , 0.61729734, -0.47187926, 0.50554728], [ 2. , 0.4171228 , -1.35680324, -1.01349922], [ 3. , -0.16636303, -0.95775849, 1.17865945], [ 4. , -0.16410334, 0.0745164 , -0.67432474], [ 5. , -0.34016865, -0.29369841, 1.23179064], [ 6. , -1.06282542, 0.55627285, 1.50805754], [ 7. , 0.95961001, 0.24753911, 0.09133339]]) 

为了得到这个dtype,我们需要使用view将这个ndarray转换成一个结构化的数组:

 In [10]: df.reset_index().values.ravel().view(dtype=[('index', int), ('A', float), ('B', float), ('C', float)]) Out[10]: array([( 0, -0.98272574, 0.150726 , 0.69162512), ( 1, 0.61729734, -0.47187926, 0.50554728), ( 2, 0.4171228 , -1.35680324, -1.01349922), ( 3, -0.16636303, -0.95775849, 1.17865945), ( 4, -0.16410334, 0.0745164 , -0.67432474), ( 5, -0.34016865, -0.29369841, 1.23179064), ( 6, -1.06282542, 0.55627285, 1.50805754), ( 7, 0.95961001, 0.24753911, 0.09133339), dtype=[('index', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')]) 

你可以使用to_records方法,但是如果它们不是你想要的,就必须使用dtypes。 在我的情况下,从一个string复制你的DF,索引types是string(用pandas中的object dtype表示):

 In [102]: df Out[102]: label ABC ID 1 NaN 0.2 NaN 2 NaN NaN 0.5 3 NaN 0.2 0.5 4 0.1 0.2 NaN 5 0.1 0.2 0.5 6 0.1 NaN 0.5 7 0.1 NaN NaN In [103]: df.index.dtype Out[103]: dtype('object') In [104]: df.to_records() Out[104]: rec.array([(1, nan, 0.2, nan), (2, nan, nan, 0.5), (3, nan, 0.2, 0.5), (4, 0.1, 0.2, nan), (5, 0.1, 0.2, 0.5), (6, 0.1, nan, 0.5), (7, 0.1, nan, nan)], dtype=[('index', '|O8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')]) In [106]: df.to_records().dtype Out[106]: dtype([('index', '|O8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')]) 

转换recarray dtype不适用于我,但可以在Pandas中做到这一点:

 In [109]: df.index = df.index.astype('i8') In [111]: df.to_records().view([('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')]) Out[111]: rec.array([(1, nan, 0.2, nan), (2, nan, nan, 0.5), (3, nan, 0.2, 0.5), (4, 0.1, 0.2, nan), (5, 0.1, 0.2, 0.5), (6, 0.1, nan, 0.5), (7, 0.1, nan, nan)], dtype=[('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')]) 

请注意,Pandas没有在导出的logging数组(错误?)中正确设置索引的名称(对ID ),所以我们从types转换中获益,也为此进行了更正。

目前Pandas只有8字节整数, i8和浮点数f8 (见本期 )。

这里是我从一个pandasDataFrame的结构数组的方法。

创build数据框

 import pandas as pd import numpy as np import six NaN = float('nan') ID = [1, 2, 3, 4, 5, 6, 7] A = [NaN, NaN, NaN, 0.1, 0.1, 0.1, 0.1] B = [0.2, NaN, 0.2, 0.2, 0.2, NaN, NaN] C = [NaN, 0.5, 0.5, NaN, 0.5, 0.5, NaN] columns = {'A':A, 'B':B, 'C':C} df = pd.DataFrame(columns, index=ID) df.index.name = 'ID' print(df) ABC ID 1 NaN 0.2 NaN 2 NaN NaN 0.5 3 NaN 0.2 0.5 4 0.1 0.2 NaN 5 0.1 0.2 0.5 6 0.1 NaN 0.5 7 0.1 NaN NaN 

定义函数来从pandasDataFrame中创build一个numpy结构数组(不是一个logging数组)。

 def df_to_sarray(df): """ Convert a pandas DataFrame object to a numpy structured array. This is functionally equivalent to but more efficient than np.array(df.to_array()) :param df: the data frame to convert :return: a numpy structured array representation of df """ v = df.values cols = df.columns if six.PY2: # python 2 needs .encode() but 3 does not types = [(cols[i].encode(), df[k].dtype.type) for (i, k) in enumerate(cols)] else: types = [(cols[i], df[k].dtype.type) for (i, k) in enumerate(cols)] dtype = np.dtype(types) z = np.zeros(v.shape[0], dtype) for (i, k) in enumerate(z.dtype.names): z[k] = v[:, i] return z 

使用reset_index创build一个新的数据框架,其中包含索引作为其数据的一部分。 将该dataframe转换为结构数组。

 sa = df_to_sarray(df.reset_index()) sa array([(1L, nan, 0.2, nan), (2L, nan, nan, 0.5), (3L, nan, 0.2, 0.5), (4L, 0.1, 0.2, nan), (5L, 0.1, 0.2, 0.5), (6L, 0.1, nan, 0.5), (7L, 0.1, nan, nan)], dtype=[('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')]) 

编辑:更新df_to_sarray,以避免错误调用与python 3.encode()感谢约瑟夫·加文和翡翠的评论和解决scheme。

除了meteore的回答,我find了代码

 df.index = df.index.astype('i8') 

不适合我 所以我把我的代码放在这里,以方便其他人坚持这个问题。

 city_cluster_df = pd.read_csv(text_filepath, encoding='utf-8') # the field 'city_en' is a string, when converted to Numpy array, it will be an object city_cluster_arr = city_cluster_df[['city_en','lat','lon','cluster','cluster_filtered']].to_records() descr=city_cluster_arr.dtype.descr # change the field 'city_en' to string type (the index for 'city_en' here is 1 because before the field is the row index of dataframe) descr[1]=(descr[1][0], "S20") newArr=city_cluster_arr.astype(np.dtype(descr)) 

感谢菲尔的回答,这很好。

回复

没有为我工作,错误:TypeError:数据types不明白 – 约瑟夫加文2月13日在17:55

我使用python 3,并得到相同的错误。 然后我删除.encode(),然后expression式如下。

 types = [(cols[i], df[k].dtype.type) for (i, k) in enumerate(cols)] 

那么它的工作。

从dataframe导出到arcgis表时遇到了类似的问题,偶然发现了一个来自usgs的解决scheme( https://my.usgs.gov/confluence/display/cdi/pandas.DataFrame+to+ArcGIS+Table )。 总之你的问题有一个类似的解决scheme:

 df Out[109]: ABC ID 1 NaN 0.2 NaN 2 NaN NaN 0.5 3 NaN 0.2 0.5 4 0.1 0.2 NaN 5 0.1 0.2 0.5 6 0.1 NaN 0.5 7 0.1 NaN NaN np_data = np.array(np.rec.fromrecords(df.values)) np_names = df.dtypes.index.tolist() np_data.dtype.names = tuple([name.encode('UTF8') for name in np_names]) np_data Out[113]: array([( nan, 0.2, nan), ( nan, nan, 0.5), ( nan, 0.2, 0.5), ( 0.1, 0.2, nan), ( 0.1, 0.2, 0.5), ( 0.1, nan, 0.5), ( 0.1, nan, nan)], dtype=(numpy.record, [('A', '<f8'), ('B', '<f8'), ('C', '<f8')])) 
  • 是否可以在Virtualenv沙盒上添加PyQt4 / PySide软件包?
  • 如何使用Python和Numpy来计算r-squared?
  • 如何解决“ImportError:无法导入名称IncompleteRead”?
  • 使用Python的string.replace与re.sub
  • Python中的UnboundLocalError
  • Python - 从文件path中提取文件夹path
  • 如何检查特定字符的string?
  • Django开发IDE
  • 在python中,如何导入文件名以数字开头
  • 有人可以在Python中解释__all__吗?
  • 为什么我的函数返回None?