Dołącz dane do obiektu S3

Question

Załóżmy, że mam komputer, który chcę mieć możliwość zapisu do określonego pliku dziennika przechowywanego w wiadrze S3.

Tak więc, maszyna musi mieć zdolności do pisania tego wiadra, ale nie chcę, aby miała możliwość nadpisywania lub usuwania jakichkolwiek plików w tym segmencie (w tym w tym, do którego ma pisać).

W zasadzie chcę, aby moja maszyna mogła dołączać dane tylko do tego pliku dziennika, bez nadpisywania i pobierania.

Czy istnieje sposób skonfigurowania mojego S3 do pracy w ten sposób? Może są jakieś zasady IAM, które mogę do niego dołączyć, żeby działały tak, jak chcę?

Answer 1

Niestety, nie możesz.

S3 doesn't have an "append" operation.^* Po przesłaniu obiektu nie można go zmodyfikować; Twoją jedyną opcją jest załadowanie nowego obiektu, który go zastąpi, który nie spełnia Twoich wymagań.

*: Tak, wiem, że ten post ma kilka lat. Wciąż jest dokładny.

Answer 2

Najlepszym rozwiązaniem Jestem świadomy jest użycie AWS Kinesis Firehose:

https://aws.amazon.com/kinesis/firehose/

Ich code sample wygląda skomplikowanie, lecz Twoja może być naprawdę proste. Kontynuujesz wykonywanie operacji PUT (lub BATCH PUT) w strumieniu dostarczania Kinesis Firehose w aplikacji (przy użyciu pakietu SDK AWS), a także konfigurujesz strumień dostarczania kinesis Firehose, aby przesłać strumieniowo dane do wybranego kubka AWS S3 (w AWS Kinesis Firehose).

To nie jest jeszcze tak wygodne, jak >> z linii poleceń Linuksa, ponieważ po utworzeniu pliku na S3 ponownie mamy do czynienia z pobieraniem, dołączając i przesyłając nowy plik, ale ci tylko trzeba to zrobić raz na partię linii, a nie na każdą linię danych, aby nie trzeba było martwić się ogromnymi opłatami z powodu wielkości operacji dołączania. Może to zrobić, ale nie widzę, jak to zrobić z konsoli.

Answer 3

miałem podobny problem i to poprosiłem

how to Append data in file using AWS Lambda

Oto co wymyślić rozwiązania powyższego problemu:

Zastosowanie getObject przy sprowadzaniu z istniejącego pliku

s3.getObject(getParams, function(err, data) { 
    if (err) console.log(err, err.stack); // an error occurred 
    else{ 
     console.log(data);   // successful response 
     var s3Projects = JSON.parse(data.Body); 
     console.log('s3 data==>', s3Projects); 
     if(s3Projects.length > 0) { 
      projects = s3Projects; 
     } 
    } 
    projects.push(event); 
    writeToS3(); // Calling function to append the data 
}); 

zapis w funkcji dołączania plik

function writeToS3() { 
    var putParams = { 
     Body: JSON.stringify(projects), 
     Bucket: bucketPath, 
     Key: "projects.json", 
     ACL: "public-read" 
    }; 

    s3.putObject(putParams, function(err, data) { 
     if (err) console.log(err, err.stack); // an error occurred 
     else  console.log(data);   // successful response 
     callback(null, 'Hello from Lambda'); 
    }); 
} 

Nadzieja ta pomoc !!