Napisz plik gzip z ramki danych

Question

Próbuję napisać ramkę danych do pliku gzip, ale mającego problemy.

Oto mój przykładowy kod:

df1 <- data.frame(id = seq(1,10,1), var1 = runif(10), var2 = runif(10)) 

gz1 <- gzfile("df1.gz","w") 
writeLines(df1) 

Błąd w writeLines(df1): nieprawidłowy 'tekst' argumentem

sugestie?

EDIT: przykład linia wektor znaków Próbuję napisać to:

0 | var1:1.5 var2:.55 var7:1250 

Etykieta klasa/y-zmienna jest oddzielona od x-Vars przez "|" i zmiennej nazwy są oddzielone od wartości przez ":" i spacje między zmiennymi.

EDIT2: przepraszam za sformułowanie/formatu pytanie, ale oto wyniki: Stara metoda:

system.time(write(out1, file="out1.txt")) 
# user system elapsed 
# 9.772 17.205 86.860 

Nowa metoda:

writeGzFile <- function(){ 
    gz1 = gzfile("df1.gz","w"); 
    write(out1, gz1); 
    close(gz1) 
} 

system.time(writeGzFile()) 
# user system elapsed 
# 2.312 0.000 2.478 

Dziękuję wszystkim bardzo za pomóż mi to rozgryźć.

Answer 1

writeLines oczekuje listy ciągów. Najprostszym sposobem, aby napisać to do pliku gzip byłoby

df1 <- data.frame(id = seq(1,10,1), var1 = runif(10), var2 = runif(10)) 
gz1 <- gzfile("df1.gz", "w") 
write.csv(df1, gz1) 
close(gz1) 

ten zapisze go jako csv zgzipowanego. Zobacz także write.table i write.csv2, aby uzyskać alternatywne sposoby zapisywania pliku.

EDIT: W oparciu o aktualizacjach słupka o żądanym formacie, zrobiłem następujące pomocnika (szybko wyrzucane razem, prawdopodobnie przyznaje ton uproszczenie):

function(df) { 
    rowCount <- nrow(df) 
    dfNames <- names(df) 
    dfNamesIndex <- length(dfNames) 
    sapply(1:rowCount, function(rowIndex) { 
     paste(rowIndex, '|', 
      paste(sapply(1:dfNamesIndex, function(element) { 
       c(dfNames[element], ':', df[rowIndex, element]) 
      }), collapse=' ') 
     ) 
    }) 
} 

więc wyjście wygląda jak

a <- data.frame(x=1:10,y=rnorm(10)) 
writeLines(myser(a)) 
# 1 | x : 1 y : -0.231340933021948 
# 2 | x : 2 y : 0.896777389870928 
# 3 | x : 3 y : -0.434875004781075 
# 4 | x : 4 y : -0.0269824962632977 
# 5 | x : 5 y : 0.67654540494899 
# 6 | x : 6 y : -1.96965253674725 
# 7 | x : 7 y : 0.0863177759402661 
# 8 | x : 8 y : -0.130116466571162 
# 9 | x : 9 y : 0.418337557610229 
# 10 | x : 10 y : -1.22890714891874 

A wszystko, co konieczne, to przekazanie pliku gz do linii poleceń, aby uzyskać pożądany wynik.

Answer 2

Aby napisać coś do pliku gzip, musisz "serializować" go do tekstu. Dla R obiektów można mieć ukłucie w które za pomocą dput:

gz1 = gzfile("df1.gz","w") 
dput(df1, gz1) 
close(gz1) 

Jednak właśnie pisemnej reprezentacji tekstowej ramki danych do pliku. Prawdopodobnie będzie to mniej wydajne niż użycie save(df1,file="df1.RData"), aby zapisać go w natywnym pliku danych R. Zadaj sobie pytanie: dlaczego zapisuję go jako plik .gz?

W szybkim teście z liczbami losowymi plik gz wynosił 54k,.Plik RData było 34k

Answer 3

Innym bardzo prosty sposób, aby to zrobić jest:

# We create the .csv file 
write.csv(df1, "df1.csv") 

# We compress it deleting the .csv 
system("gzip df1.csv") 

wpadł na pomysł z: http://blog.revolutionanalytics.com/2009/12/r-tip-save-time-and-space-by-compressing-data-files.html