Python C程序subprocess挂在“for it in iter”

好的,我试图从一个python脚本运行一个C程序。 目前我正在使用一个testingC程序:

#include <stdio.h> int main() { while (1) { printf("2000\n"); sleep(1); } return 0; } 

为了模拟我将要使用的程序,它不断地从传感器读取数据。 然后我试图从C程序中读取python中的subprocess的输出(在这种情况下是"2000" ):

 #!usr/bin/python import subprocess process = subprocess.Popen("./main", stdout=subprocess.PIPE) while True: for line in iter(process.stdout.readline, ''): print line, 

但是这不起作用。 从使用print语句开始,它运行.Popen行,然后等待for line in iter(process.stdout.readline, ''): .Popen直到我按下Ctrl-C。

为什么是这样? 这正是我见过的大多数例子都是他们的代码,但是它并没有读取这个文件。

编辑:

有没有办法让它只在有东西要读的时候运行?

这是一个块缓冲问题。

以下是我对Python的答案的一个扩展:从subprocess.communicate()问题读取streaminput 。

直接在C程序中修复stdout缓冲区

stdio基于stdio的程序如果在terminal中以交互方式运行,并且在将其stdoutredirect到pipe道时进行缓冲,则会进行行缓冲。 在后一种情况下,直到缓冲区溢出或刷新时才会看到新行。

为了避免在调用printf() fflush()之后调用fflush() ,可以通过在C程序中调用一行来强制缓冲行输出:

 setvbuf(stdout, (char *) NULL, _IOLBF, 0); /* make line buffered stdout */ 

只要打印一个换行符,在这种情况下caching就会被刷新。

或者修改它而不修改C程序的源代码

stdbuf实用程序,允许您更改缓冲types而无需修改源代码,例如:

 from subprocess import Popen, PIPE process = Popen(["stdbuf", "-oL", "./main"], stdout=PIPE, bufsize=1) for line in iter(process.stdout.readline, b''): print line, process.communicate() # close process' stream, wait for it to exit 

还有其他实用程序可用,请参阅closurespipe道中的缓冲 。

或者使用伪TTY

为了欺骗子pexpect以为它是交互式运行的,你可以使用pexpect模块或者它的pexpect ,用于使用pexpectpty模块的代码示例,参见Python子 pexpect readlines()挂起 。 这里提供的pty示例的变体(它应该在Linux上工作):

 #!/usr/bin/env python import os import pty import sys from select import select from subprocess import Popen, STDOUT master_fd, slave_fd = pty.openpty() # provide tty to enable line buffering process = Popen("./main", stdin=slave_fd, stdout=slave_fd, stderr=STDOUT, bufsize=0, close_fds=True) timeout = .1 # ugly but otherwise `select` blocks on process' exit # code is similar to _copy() from pty.py with os.fdopen(master_fd, 'r+b', 0) as master: input_fds = [master, sys.stdin] while True: fds = select(input_fds, [], [], timeout)[0] if master in fds: # subprocess' output is ready data = os.read(master_fd, 512) # <-- doesn't block, may return less if not data: # EOF input_fds.remove(master) else: os.write(sys.stdout.fileno(), data) # copy to our stdout if sys.stdin in fds: # got user input data = os.read(sys.stdin.fileno(), 512) if not data: input_fds.remove(sys.stdin) else: master.write(data) # copy it to subprocess' stdin if not fds: # timeout in select() if process.poll() is not None: # subprocess ended # and no output is buffered <-- timeout + dead subprocess assert not select([master], [], [], 0)[0] # race is possible os.close(slave_fd) # subproces don't need it anymore break rc = process.wait() print("subprocess exited with status %d" % rc) 

或者通过pexpect使用pty

pexpectpty处理包装到更高级别的界面中 :

 #!/usr/bin/env python import pexpect child = pexpect.spawn("/.main") for line in child: print line, child.close() 

问:为什么不使用pipe道(popen())? 解释了为什么伪TTY是有用的。

你的程序没有挂起,只是运行速度很慢。 您的程序正在使用缓冲输出; "2000\n"数据不会立即写入stdout,而是最终生成。 在你的情况下,可能需要BUFSIZ/strlen("2000\n")秒(大约1638秒)才能完成。

在这行之后:

 printf("2000\n"); 

 fflush(stdout); 

请参阅readline文档 。

你的代码:

 process.stdout.readline 

正在等待EOF或换行符。

我不知道你最终想做什么,但是在你的printf中join一个换行符,例如printf("2000\n"); ,至less应该让你开始。