R用data.table总结多个列

我正在尝试使用data.table来加速处理由几个较小的合并数据框架组成的大数据框(300k x 60)。 我是data.table的新手。 目前的代码如下

library(data.table) a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10)) b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5,10)) dt = merge(a,b,by=intersect(names(a),names(b)),all=T) dt$category = sample(letters[1:3],10,replace=T) 

我想知道是否有比以下更有效的方式来总结数据。

 summ = dt[i=T,j=list(a=sum(a,na.rm=T),b=sum(b,na.rm=T),c=sum(c,na.rm=T), d=sum(d,na.rm=T),z=sum(z,na.rm=T)),by=category] 

我真的不想用手input所有的50列计算,而eval(paste(...))似乎笨重。

我看了下面的例子,但是对于我的需求来说似乎有些复杂。 谢谢

如何总结一个data.table跨多个列

您可以使用简单的lapply语句与.SD

 dt[, lapply(.SD, sum, na.rm=TRUE), by=category ] category index abzcd 1: c 19 51.13289 48.49994 42.50884 9.535588 11.53253 2: b 9 17.34860 20.35022 10.32514 11.764105 10.53127 3: a 27 25.91616 31.12624 0.00000 29.197343 31.71285 

如果您只想汇总某些列,则可以添加.SDcols参数

 # note that .SDcols also allows reordering of the columns dt[, lapply(.SD, sum, na.rm=TRUE), by=category, .SDcols=c("a", "c", "z") ] category acz 1: c 51.13289 9.535588 42.50884 2: b 17.34860 11.764105 10.32514 3: a 25.91616 29.197343 0.00000 

这当然不限于sum ,你可以使用包括匿名函数在内的任何函数。 (即,这是一个常规的lapply声明)。

最后,没有必要使用i=Tj= <..> 。 就我个人而言,我认为这使得代码更不可读,但它只是一种风格偏好。


编辑:文档

你会发现.SD文件和其他几个特殊的variables下
帮助部分?"[.data.table" (在参数部分,查看信息的by )。

也看看data.table常见问题2.1

datatable-faq.pdf