Tag: yarn

容器超出内存限制

在Hadoop v1中，我已经分配了大小为1GB的每个7映射器和缩放器插槽，我的映射器和缩减器运行良好。 我的机器有8G内存，8个处理器。 现在用YARN，当在同一台机器上运行相同的应用程序时，我得到了容器错误。 默认情况下，我有这个设置： <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> 它给了我错误： Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container. 然后我尝试在mapred-site.xml中设置内存限制： <property> <name>mapreduce.map.memory.mb</name> <value>4096</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>4096</value> </property> […]