pandas独特价值多列
df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'], 'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'], 'Col3': np.random.random(5)}) 返回“Col1”和“Col2”的唯一值的最佳方法是什么？
期望的输出是
'Bob', 'Joe', 'Bill', 'Mary', 'Steve'
pd.unique从input数组，或DataFrame列或索引返回唯一值。
这个函数的input需要是一维的，所以需要组合多列。 最简单的方法是select你想要的列，然后查看平铺的NumPy数组中的值。 整个操作如下所示：
>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K')) array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)
请注意， ravel()是一个数组方法，它返回一个multidimensional array的视图（如果可能的话）。 参数'K'告诉方法按照元素存储在内存中的顺序来压扁数组（pandas通常以Fortran连续的顺序存储底层数组;行之前的列）。 这可以比使用方法的默认“C”顺序显着。
另一种方法是select列并将它们传递给np.unique ：
>>> np.unique(df[['Col1', 'Col2']].values) array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)
这里不需要使用ravel()方法来处理multidimensional array。 即使如此，这可能比pd.unique慢，因为它使用基于sorting的algorithm而不是散列表来标识唯一值。
速度的差异对于较大的dataframe（特别是如果只有less数独特的值）是重要的：
>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows >>> %timeit np.unique(df1[['Col1', 'Col2']].values) 1 loop, best of 3: 1.12 s per loop >>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K')) 10 loops, best of 3: 38.9 ms per loop >>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order 10 loops, best of 3: 49.9 ms per loop
我已经设置了一个DataFrame的几列简单的string：
>>> df ab 0 ag 1 bh 2 da 3 ee
你可以连接你感兴趣的列并调用unique函数：
>>> pandas.concat([df['a'], df['b']]).unique() array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)
In [5]: set(df.Col1).union(set(df.Col2)) Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}
要么：
set(df.Col1) | set(df.Col2)
非pandas解决scheme：使用set（）。
import pandas as pd import numpy as np df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'], 'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'], 'Col3' : np.random.random(5)}) print df print set(df.Col1.append(df.Col2).values)
输出：
Col1 Col2 Col3 0 Bob Joe 0.201079 1 Joe Steve 0.703279 2 Bill Bob 0.722724 3 Mary Bob 0.093912 4 Joe Steve 0.766027 set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])
使用numpy v1.13 +更新的解决scheme需要在np.unique中指定轴（如果使用多个列），否则该数组将隐式展平。
import numpy as np np.unique(df[['col1', 'col2']], axis=0)
此更改已于2016年11月推出： https ： //github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be
