Jak przesyłać pliki między AWS s3 i AWS ec2

Question

Używam instancji AWS ec2. Na tej instancji powstają niektóre pliki. Te operacje są wykonywane przez dane użytkownika.

Teraz chcę przechowywać te pliki na s3, pisząc kod w samych danych użytkownika.

• Jak mogę zapisać te pliki na s3?
• Czy masz jakieś tutoriale?

Answer 1

Używam s3cmd do przechowywania nocnych eksportowanych plików kopii zapasowych bazy danych z mojej instancji ec2. Po konfiguracji s3cmd, które można przeczytać o na ich stronie, można wtedy uruchomić poleceniem:

s3cmd put ./myfile s3://mybucket

Answer 2

Istnieje wiele sposobów na wysyłanie plików do S3. Poniżej wymienię je wraz z instalacją i dokumentacją tam, gdzie jest to istotne.

• S3CMD (http://s3tools.org/s3cmd) można zainstalować to na debian/ubuntu łatwo poprzez apt-get install s3cmd, a następnie uruchomić z linii poleceń. Możesz włączyć to do skryptu bash lub do twojego programu.

• S3FS: (http://www.pophams.com/blog/howto-setups3fsonubuntu1104x64 i https://code.google.com/p/s3fs/wiki/InstallationNotes) ... To montuje się wiadro s3, tak, że wygląda tak jak na dysku lokalnym. Konfiguracja wymaga nieco więcej wysiłku, ale po zamontowaniu dysku nie musisz robić nic specjalnego, aby pobrać pliki z wiadra.

• Jeśli używasz CMS (pozwala używać Drupal jako przykład) może masz możliwość użyciu modułu obsługiwać dostęp do wiadra np http://drupal.org/project/storage_api

• Wreszcie, można użyć języka programowania implementacje obsłużyć cały logiczny siebie, dla PHP można uruchomić z tym http://undesigned.org.za/2007/10/22/amazon-s3-php-class i zobacz dokumentację tutaj http://undesigned.org.za/2007/10/22/amazon-s3-php-class/documentation

przykładem PHP im żania:

<?php 

    // Simple PUT: 
    if (S3::putObject(S3::inputFile($file), $bucket, $uri, S3::ACL_PRIVATE)) { 
     echo "File uploaded."; 
    } else { 
     echo "Failed to upload file."; 
    } 

?> 

Przykładem s3cmd:

s3cmd put my.file s3://bucket-url/my.file 

Edytuj

Inną opcją warto wspomnieć to AWS CLI http://aws.amazon.com/cli/ ten jest powszechnie dostępny, na przykład jest to już uwzględnione na AmazonLinux i może pobrać za pośrednictwem Pythona (który jest instalowany na wielu systemach, w tym na Linuksie i Windows).

http://docs.aws.amazon.com/cli/latest/reference/s3/index.html

Dostępne polecenia cp ls mb mv rb rm sync www

http://docs.aws.amazon.com/cli/latest/reference/s3api/index.html do interakcji z S3

Answer 3

Zastosowanie s3cmd za to:

s3cmd get s3://AWS_S3_Bucket/dir/file 

See ho W celu zainstalowania s3cmd here:

Działa to dla mnie ...

Answer 4

Install s3cmd pakiet jako:

yum install s3cmd 

lub

sudo apt-get install s3cmd 

zależności od systemu operacyjnego. Następnie skopiuj dane za pomocą:

s3cmd get s3://tecadmin/file.txt 

również może wyświetlić listę plików.

Aby uzyskać więcej detils zobaczyć this

Answer 5

Korzystanie z najnowszej AWS CLI (http://aws.amazon.com/cli/), można użyć następujących poleceń, aby skopiować pliki z EC2 instancji lub nawet ty lokalny maszyna do przechowywania S3.

aws s3 cp myfolder s3://mybucket/myfolder --recursive 

Będziesz wtedy coś takiego:

upload: myfolder/file1.txt to s3://mybucket/myfolder/file1.txt 
upload: myfolder/subfolder/file1.txt to s3://mybucket/myfolder/subfolder/file1.txt 

Jeśli jest to Twoja pierwsza korzystanie z CLI narzędzia aws Pokochasz więc trzeba uruchomić:

aws configure

Spowoduje to wprowadzenie klucza dostępu & secret wraz z określeniem domyślnego regionu.

Answer 6

Wszystkie próby zamontowania s3 jako pseudo systemu plików są problematyczne. To magazyn obiektów, a nie urządzenie blokowe. Jeśli musisz go zamontować, ponieważ masz starszy kod, który musi mieć lokalne ścieżki do plików, spróbuj goofys. Jest około 50 razy szybszy niż s3fs. https://github.com/kahing/goofys

s3cmd jest w tej chwili trochę długi w zębach. AWS cli jest obecnie lepszym rozwiązaniem. Składnia jest nieco mniej wygodna, ale jest to o jeden mniej narzędzie, które musisz zachować.

Jeśli możesz przyłączyć się do dostępu http. Ułatwi ci życie na dłuższą metę.