Jak wykonać kwerendę XPath w wierszu polecenia w dużych plikach XML?

Question

Mam kolekcję plików XML, a niektóre z nich są dość duże (do ~ 50 milionów węzłów elementów). Używam xmllint do sprawdzania poprawności tych plików, co działa całkiem dobrze nawet dla ogromnych dzięki strumieniowemu API.

xmllint --loaddtd --stream --valid /path/to/huge.xml 

Niedawno dowiedziałem się, że xmllint jest również zdolny do zapytań XPath wiersza poleceń, co jest bardzo wygodne.

xmllint --loaddtd --xpath '/root/a/b/c/text()' /path/to/small.xml 

Jednak te zapytania XPath nie działają dla dużych plików XML. Po pewnym czasie otrzymuję komunikat "Killed". Próbowałem włączyć streaming API, ale to po prostu nie generuje żadnego wyjścia.

xmllint --loaddtd --stream --xpath '/root/a/b/c/text()' /path/to/huge.xml 

Czy istnieje sposób włączenia trybu strumieniowego podczas wykonywania zapytań XPath przy użyciu xmllint? Czy istnieją inne/lepsze sposoby wykonywania zapytań XPath z linii poleceń w przypadku dużych plików XML?

Answer 1

Jeśli wyrażenia XPath są bardzo proste, spróbuj xmlcutty.

Od głównej:

xmlcutty jest prostym narzędziem do pominięcia elementów z dużych plików XML, szybko. Ponieważ działa w trybie strumieniowym, prawie nie korzysta z pamięci i może przetwarzać około 1G XML na minutę.

Answer 2

zmiana ulimits może działać. Spróbuj tego:

$ ulimit -Sv 500000 
$ xmllint (...your command)