początkujących pyton podproces: „błąd zapisu: Broken pipe”

Question

Dzięki pomocnych wskazówek poniżej:

Więc wydaje się być ustalona, ​​kiedy

1. oddzielne polecenia w poszczególnych wezwań do POPEN
2. stderr = subprocess.PIPE jako argument dla każdego łańcucha Popen.

nowy kod:

import subprocess 
import shlex 
import logging 

def run_shell_commands(cmds): 
    """ Run commands and return output from last call to subprocess.Popen. 
     For usage see the test below. 
    """ 
    # split the commands 
    cmds = cmds.split("|") 
    cmds = list(map(shlex.split,cmds)) 

    logging.info('%s' % (cmds,)) 

    # run the commands 
    stdout_old = None 
    stderr_old = None 
    p = [] 
    for cmd in cmds: 
     logging.info('%s' % (cmd,)) 
     p.append(subprocess.Popen(cmd,stdin=stdout_old,stdout=subprocess.PIPE,stderr=subprocess.PIPE)) 
     stdout_old = p[-1].stdout 
     stderr_old = p[-1].stderr 
    return p[-1] 


pattern = '"^85567  "' 
file = "j" 

cmd1 = 'grep %s %s | sort -g -k3 | head -10 | cut -d" " -f2,3' % (pattern, file) 
p = run_shell_commands(cmd1) 
out = p.communicate() 
print(out) 

Original post:

spędziłem zbyt długo stara się rozwiązać problem orurowanie prostą subprocess.Popen.

Kod:

import subprocess 
cmd = 'cat file | sort -g -k3 | head -20 | cut -f2,3' % (pattern,file) 
p = subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE) 
for line in p.stdout: 
    print(line.decode().strip()) 

wyjścia dla plików ~ 1000 linii o długości:

... 
sort: write failed: standard output: Broken pipe 
sort: write error 

wyjścia dla plików> 241 linii o długości:

... 
sort: fflush failed: standard output: Broken pipe 
sort: write error 

wyjście do pliku < 241 długość linii jest w porządku.

Przeczytałem dokumentację i szukałem czegoś jak szalonego, ale jest coś fundamentalnego w module podprocesu, którego mi brakuje ... może z buforami. Próbowałem p.stdout.flush() i grając z rozmiarem bufora i p.wait(). Próbowałem odtworzyć to za pomocą poleceń takich jak "sleep 20; cat moderatefile ", ale wydaje się, że działa bez błędu.

Answer 1

Od receptur na subprocess docs:

# To replace shell pipeline like output=`dmesg | grep hda` 
p1 = Popen(["dmesg"], stdout=PIPE) 
p2 = Popen(["grep", "hda"], stdin=p1.stdout, stdout=PIPE) 
output = p2.communicate()[0] 

Answer 2

Nie trzeba shell=True. Nie przywołuj powłoki. Oto, jak bym to zrobił:

p = subprocess.Popen(cmd, stdout=subprocess.PIPE) 
stdout_value = p.communicate()[0] 
stdout_value # the output 

Sprawdź, czy napotkasz problem z buforem po użyciu?

Answer 3

To dlatego, że nie powinno się używać „rur Shell” w przekazanym subprocess.Popen polecenia, należy użyć subprocess.PIPE takiego:

from subprocess import Popen, PIPE 

p1 = Popen('cat file', stdout=PIPE) 
p2 = Popen('sort -g -k 3', stdin=p1.stdout, stdout=PIPE) 
p3 = Popen('head -20', stdin=p2.stdout, stdout=PIPE) 
p4 = Popen('cut -f2,3', stdin=p3.stdout) 
final_output = p4.stdout.read() 

ale muszę powiedzieć, że to, co starasz się można zrobić w czystym Pythonie, zamiast wywoływać kilka poleceń powłoki.

Answer 4

spróbuj użyć communicate() zamiast czytania bezpośrednio ze stdout.

docs Python powiedzieć:

"Warning Use communicate() rather than .stdin.write, .stdout.read or .stderr.read to avoid deadlocks due to any of the other OS pipe buffers filling up and blocking the child process."

http://docs.python.org/library/subprocess.html#subprocess.Popen.stdout

p = subprocess.Popen(cmd, stdout=subprocess.PIPE) 
output = p.communicate[0] 
for line in output: 
    # do stuff 

Answer 5

I zostały posiadające ten sam błąd.Nawet umieściłem potok w skrypcie basha i wykonałem go zamiast potoku w Pythonie. Od Pythona otrzyma błąd zepsutej rury, od basha to nie będzie.

Wydaje mi się, że być może ostatnia komenda przed głowicą rzuca błąd, ponieważ jest (sort) STDOUT jest zamknięty. Python musi się tym zająć, podczas gdy w powłoce błąd jest cichy. Zmieniłem kod, aby pochłonąć całe wejście i błąd zniknął.

Byłoby sensowne również w przypadku mniejszych plików, ponieważ rura prawdopodobnie buforuje całe wyjście przed wyjściem głowy. To wyjaśniałoby przerwy w większych plikach.

przykład zamiast „głowy -1” (w moim przypadku, ja tylko chce pierwszy wiersz), Zrobiłem awk „NR == 1”

Istnieje prawdopodobnie lepsze sposoby osiągnięcia tego w zależności od miejsca, w którym "głowa -X" występuje w rurze.