AWS: Sposoby ograniczenia kosztów podczas tworzenia kopii zapasowych plików S3 na lodowcu?

Question

W ramach naszego projektu stworzyliśmy dość krzaczaste drzewo katalogów/plików na S3 z wszystkimi plikami zajmującymi około 6 TB danych. Obecnie nie mamy kopii zapasowej tych danych, która jest zła. Chcemy wykonywać okresowe kopie zapasowe. Wygląda na to, że Glacier to droga.

Pytanie brzmi: jakie są sposoby na utrzymanie całkowitego kosztu kopii zapasowej w dół?

Większość naszych plików to tekst, dzięki czemu możemy je skompresować i przesłać całe archiwa ZIP. Będzie to wymagało przetworzenia (na EC2), więc jestem ciekawy, czy istnieje jakaś reguła, aby porównać dodatkowy koszt uruchomienia instancji EC2 do skompresowania w porównaniu do zwykłego przesyłania nieskompresowanych plików.

Musimy również zapłacić za przesyłanie danych, więc zastanawiam się, czy istnieje jakiś sposób utworzenia kopii zapasowej innej niż (i) plik do pobrania z S3 do instancji; (ii) przesłać plik w jego surowej postaci lub spakować do lodowca.

Answer 1

I ogólnie myśleć lodowiec jako alternatywnego przechowywania do S3, a nie dodatkową przechowywania. Oznacza to, że dane byłyby najczęściej przechowywane w S3 lub na lodowcu, ale rzadko w obu przypadkach.

Jeśli ufasz, że S3 ma jedenaście dziewięciu lat wytrzymałości, to nie tworzysz kopii zapasowej, ponieważ S3 może utracić dane.

Możesz utworzyć kopię zapasową danych, ponieważ (tak jak ja) widzisz swoje konto Amazon jako pojedynczy punkt awarii (np. Poświadczenia są naruszone lub Amazon blokuje twoje konto, ponieważ wierzysz, że robisz coś obraźliwego). Jednak w takim przypadku Glacier nie jest wystarczającym wsparciem, ponieważ nadal podlega parasolowi Amazon.

Zalecam tworzenie kopii zapasowych danych S3 poza Amazon, jeśli obawiasz się utraty danych w S3 z powodu błędu użytkownika, poświadczeń i tym podobnych.

Polecam używanie Lodowca jako miejsca do archiwizacji danych dla długoterminowego, taniego przechowywania, gdy wiesz, że nie będziesz potrzebować dostępu do niego dużo, jeśli w ogóle. Gdy rzeczy zostaną przeniesione na lodowiec, wtedy usuniesz je z S3.

Amazon zapewnia automatyczną archiwizację z S3 na lodowiec, który działa świetnie, ale uważaj na dodatkowe koszty, jeśli średnia wielkość plików jest niewielka. Oto artykuł napisałem na tym niebezpieczeństwem:

Koszt Przejście S3 obiektów do lodowiec
http://alestic.com/2012/12/s3-glacier-costs

Jeśli nadal chcesz skopiować z S3 do lodowiec, oto niektóre punkty związane z pytania :

• Prawdopodobnie pozostawisz dane w lodowcu przez długi czas, więc kompresja jest prawdopodobnie warta krótkotrwałego użycia procesora. Dokładny kompromis zależy od czynników takich jak ściśliwość danych, czas kompresji i częstotliwość kompresji.

• Nie pobiera się opłat za pobieranie danych z S3 do instancji EC2. Nie ma opłaty za transfer danych w celu przesłania danych do lodowca.

• Jeśli prześlesz wiele małych plików na lodowiec, opłaty za przesyłkę mogą się sumować.Możesz zaoszczędzić na kosztach, łącząc wiele małych plików w archiwum i przesyłając je.

Inną cechą S3, które mogą pomóc w ochronie przed przypadkową utratą na skutek błędu lub ataków użytkownika jest włączenie S3 wersjonowanie oraz umożliwić MFA (uwierzytelnianie wieloczynnikowe). Dzięki temu nikt nie będzie mógł trwale usuwać obiektów, dopóki nie uzyskają poświadczeń i fizycznego urządzenia w Twoim posiadaniu.

Answer 2

początkowo skierowana ten sam problem w moim wiader S3 Chciałem wykonać kopię zapasową w następujący sposób:

1. utworzyć drugą „lustrzane” Bucket dla każdego segmentu S3 chcę kopii zapasowej na lodowiec
2. uruchomienie mikro Ubuntu wystąpienie serwera do biegania crona
3. zainstalować s3cmd na serwerze
4. napisać skrypt, aby zsynchronizować wszystkie obiekty z każdego wiadra do wiadra lustro
5. umożliwić życie zasady cyklu na lustrzanym wiadrze, aby zmienić status każdego obiektu na "Lodowiec"

Działa to dobrze, ale zdecydowałem, że łatwiej jest włączyć opcję Wersjonowanie na moim wiadrze. Gwarantuje to, że jeśli obiekt zostanie przypadkowo usunięty lub zaktualizowany, można go odzyskać. Wadą tego podejścia jest to, że proces przywracania całej gałęzi lub pod-drzewa może być czasochłonny. Jest to jednak łatwiejsze, bardziej opłacalne i odpowiednie do ochrony zawartości wiadra przed trwałym zniszczeniem.

Nadzieję, że pomaga komuś w dół drogi.