用pandas中的NaNreplace空白值(空格)

我想查找包含空白(任意数量)的Pandas数据框中的所有值,并用NaNreplace这些值。

任何想法如何可以改善?

基本上我想把这个:

ABC 2000-01-01 -0.532681 foo 0 2000-01-02 1.490752 bar 1 2000-01-03 -1.387326 foo 2 2000-01-04 0.814772 baz 2000-01-05 -0.222552 4 2000-01-06 -1.176781 qux 

进入这个:

  ABC 2000-01-01 -0.532681 foo 0 2000-01-02 1.490752 bar 1 2000-01-03 -1.387326 foo 2 2000-01-04 0.814772 baz NaN 2000-01-05 -0.222552 NaN 4 2000-01-06 -1.176781 qux NaN 

我已经设法用下面的代码做,但是男人是丑陋的。 这不是Pythonic,我相信这不是pandas的最有效的使用。 我循环遍历每一列,并通过应用一个正则expression式search每个值,在空白上匹配的函数生成的列掩码做布尔replace。

 for i in df.columns: df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None 

它可以通过遍历可能包含空string的字段进行优化:

 if df[i].dtype == np.dtype('object') 

但这并没有太大的改善

最后,这段代码将目标string设置为None,它与像Panda的函数(如fillna())一起工作,但是如果我可以直接插入NaN而不是None,那么完整性会很好。

帮帮我!

我认为df.replace()做这个工作:

 df = pd.DataFrame([ [-0.532681, 'foo', 0], [1.490752, 'bar', 1], [-1.387326, 'foo', 2], [0.814772, 'baz', ' '], [-0.222552, ' ', 4], [-1.176781, 'qux', ' '], ], columns='AB C'.split(), index=pd.date_range('2000-01-01','2000-01-06')) print df.replace(r'\s+', np.nan, regex=True) 

生产:

  ABC 2000-01-01 -0.532681 foo 0 2000-01-02 1.490752 bar 1 2000-01-03 -1.387326 foo 2 2000-01-04 0.814772 baz NaN 2000-01-05 -0.222552 NaN 4 2000-01-06 -1.176781 qux NaN 

怎么样:

 d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x) 

applymap函数将函数应用于数据applymap每个单元格。

我会做这个:

 df = df.apply(lambda x: x.str.strip()).replace('', np.nan) 

要么

 df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan) 

你可以np.nan所有的str,然后用np.nanreplace空的str。

对于一个非常快速和简单的解决scheme,您可以使用mask方法检查相等的值。

 df.mask(df == ' ')