bash, Linux: Ustaw różnicę między dwoma plikami tekstowymi

Question

Mam dwa pliki A - nodes_to_delete i B - nodes_to_keep. Każdy plik ma wiele wierszy z numerycznymi identyfikatorami.

Chcę mieć listę numerycznych identyfikatorów, które są w nodes_to_delete, ale NIE w nodes_to_keep, np. alt text http://mathworld.wolfram.com/images/equations/SetDifference/Inline1.gif.

Robiąc to w bazie danych PostgreSQL jest nierozsądnie wolny. Czy można to zrobić za pomocą narzędzi Linux CLI?

AKTUALIZACJA: Wydaje się, że to praca Pythonica, ale pliki są naprawdę, naprawdę duże. Rozwiązałem niektóre podobne problemy używając uniq, sort i niektórych technik teorii zbiorów. To było o dwa lub trzy rzędy wielkości szybsze od odpowiedników w bazie danych.

Answer 1

Komenda comm to robi.

Answer 2

Może trzeba lepszego sposobu, aby to zrobić w PostgreSQL, mogę dość dużo zakład, że nie będzie znaleźć szybszy sposób to zrobić przy użyciu plików płaskich. Powinieneś być w stanie zrobić proste sprzężenie wewnętrzne i zakładając, że oba id cols są indeksowane, które powinny być bardzo szybkie.

Answer 3

Ktoś pokazał mi jak dokładnie to zrobić w sh kilka miesięcy temu, a potem nie mogłem znaleźć go na chwilę ... i patrząc Natknąłem się na swoje pytanie. Oto ona:

set_union() { 
    sort $1 $2 | uniq 
} 

set_difference() { 
    sort $1 $2 $2 | uniq -u 
} 

set_symmetric_difference() { 
    sort $1 $2 | uniq -u 
} 

Answer 4

użycie comm - będzie porównać dwa posortowane pliki linia po linii

Odpowiedź na pytanie OP stosując ten przykład konfiguracja znajduje się poniżej. To polecenie zwróci linie unikatowe dla deleteNodes, a nie w keepNodes

comm -1 -3 <(sort keepNodes) <(sort deleteNodes) 

wyjaśnienie: pokaz unikatowej linii do deleteNodes, ukryć inne linie

---

przykład konfiguracja

Użyjemy keepNodes i deleteNodes. Są używane jako nieposortowane dane wejściowe.

$ cat > keepNodes <(echo bob; echo amber;) 
$ cat > deleteNodes <(echo bob; echo ann;) 

Domyślnie bez argumentów, drukuje Comm 3 kolumny

unique_to_FILE1 
    unique_to_FILE2 
     lines_appear_in_both 

To Barebone przykładem comm bez argumentów. Zwróć uwagę na trzy kolumny.

$ comm <(sort keepNodes) <(sort deleteNodes) 
amber 
    ann 
     bob 

Tłumienie wyjściu jednokolumnowym

zwalczaniu kolumna 1, 2 albo 3, -N; pamiętaj, że gdy kolumna jest ukryta, biała spacja maleje.

$ comm -1 <(sort keepNodes) <(sort deleteNodes) 
ann 
    bob 
$ comm -2 <(sort keepNodes) <(sort deleteNodes) 
amber 
    bob 
$ comm -3 <(sort keepNodes) <(sort deleteNodes) 
amber 
    ann 
$ comm -1 -3 <(sort keepNodes) <(sort deleteNodes) 
ann 
$ comm -2 -3 <(sort keepNodes) <(sort deleteNodes) 
amber 
$ comm -1 -2 <(sort keepNodes) <(sort deleteNodes) 
bob 

To nie wdzięcznie, gdy zapomni się uporządkować

comm: file 1 is not in sorted order

Answer 5

comm został zaprojektowany specjalnie dla tego rodzaju przypadków użycia, ale wymaga wkładu posortowana.

awk jest prawdopodobnie lepszym narzędziem do tego, ponieważ jest dość proste do znalezienia różnicy w ustawieniach, nie wymaga sort i oferuje dodatkową elastyczność.

awk 'NR == FNR { a[$0]; next } !($0 in a)' nodes_to_keep nodes_to_delete 

Być może, na przykład, chcesz tylko zobaczyć różnicę w liniach, które reprezentują liczby nieujemne:

awk -v r='^[0-9]+$' 'NR == FNR && $0 ~ r { 
    a[$0] 
    next 
} $0 ~ r && !($0 in a)' nodes_to_keep nodes_to_delete