Obecnie korzystam z usługi Amazon Redshift do przechowywania zagregowanych danych z 50 - 100 GB (tj. Milionów wierszy) plików rozdzielanych tabulatorami, które są codziennie przesyłane do zasobnika w usłudze Amazon S3.Czy istnieje sposób, aby wstawić luzem do Amazon Aurora RDS bezpośrednio z plików rozdzielanych tabulator Amazon S3 w C#?
Redshift ułatwia to zadanie, podając polecenie copy, które można skierować bezpośrednio do zasobnika S3 w celu zbiorczego załadowania danych.
Chciałbym użyć Amazon Aurora RDS w tym samym celu. Dokumentacja na temat Aurory jest w najlepszym wypadku cienka, w tej chwili. Czy istnieje sposób na masowe ładowanie bezpośrednio z S3 do Aurory?
O ile mogę powiedzieć, MySql's LOAD DATA INFILE wymaga ścieżki do pliku na dysku, co przypuszczam, że mogę obejść, pobierając tsv do instancji AWS i uruchamiając komendę stamtąd, choć to nie jest idealne .
Próbowałem również przeczytać tsv w pamięci i skonstruować wiele instrukcji insert. Jest to oczywiście powolne i niezgrabne.
Pomysły?
AKTUALIZACJA 11/2016:
W wersji Aurora 1.8 można teraz korzystać z następujących poleceń do zbiorczego danych S3 obciążenie:
LOAD DATA FROM S3
lub
LOAD XML FROM S3