NoSql lub MySQL do analizy danych

Question

Mamy klastra (hadoop, świnia), który przekazuje dane 350 Gb (rośnie kilka GB tygodniowo).

Wszystkie te dane muszą zostać udostępnione Analytics.

Mamy rozwiązanie Msyql ze schematem gwiaździstym (do tego załadowane są tylko części danych). Ale martwić się może, jak daleko można to rozciągnąć?

Czy powinienem szukać NoSQL podobnego do Hive do analizy danych?

ja przeczytać ten artykuł http://anders.com/cms/282/Distributed.Data/Hadoop/Hbase/Hive

Jak duży jest Big Data i kiedy powinienem być odwracając z MySQL? Czy sztywność strukturalna Mysql spowoduje problemy?

Obecnie dane są tylko kilka GB (w MySQL), ale z pewnością będą rosnąć. Co z klastrowaniem MySQL?

Czy powinienem iść w ogóle tą ścieżką?

Answer 1

350Gb (rośnie kilka GB tygodniowo) ... Wszystkie te dane muszą być udostępnione Analytics

Czy masz guru MySQL w domu? Jeśli tak, sure => po prostu utwórz i rozbuduj ten klaster MySQL. Jedynym problemem z tym rozwiązaniem nie jest to, że jest to MySQL i nie jest to, że jest to , a nie a NoSQL => jest dosłownie, ponieważ wymaga eksperta, aby go skonfigurować i zawsze być tam z boku w przypadku to musi zostać zmienione. Ale zgadnij, co => SQL jest MUCH lepsze i prostsze do analityki, niż symulacja SQL na mapie/redukującej.

Coś, co może stać się późniejszym problemem z rozwiązaniem MySQL jest Oracle. Więc upewnij się, że rozumiesz, jakie funkcje MySQL możesz używać za darmo i jakie funkcje musiałbyś zapłacić.

Jeśli masz , a nie posiadasz eksperta MySQL w domu, lub nie chcesz za nie płacić, zdecydowanie możesz skorzystać z NoSQL. Nie oznacza to, że nie potrzebujesz wiedzy o produktach NoSQL, ale konfigurowanie i uruchamianie węzłów X jako pojedynczego systemu jest niezwykle prostym i naturalnym procesem dla rozwiązań NoSQL.

Na przykład w Riaku i kilku innych bestsellerach NoSQL, większość komplikacji dystrybucji jest rozwiązywana przez produkt bez konieczności wykonywania jakichkolwiek czynności => to naprawdę jest takie proste.

Cena płacisz NoSQL traci SQL (myśleć o miłych cech agregowania) i konsystencji, która jest ewentualny, a jeśli ściśle robi Analytics, dla ciebie, spójność nie może być cena w ogóle.

W zamian otrzymujesz bardzo naturalną obsługę dużych zbiorów danych, odporność na uszkodzenia i much more.

Jeśli jesteś w przestrzeni Hadooooxyz i możesz zapłacić, spójrz na Hadapt, która obiecuje 5-krotną wydajność Hive.

Answer 2

przełączać podczas uruchamiania mający rodzaje problemów nakreślonych w coś jak to pytanie porównawczej: https://dba.stackexchange.com/questions/5/what-are-the-differences-between-nosql-and-a-traditional-rdbms

Poza tym, to trochę trudno odpowiedzieć na pytanie poza ogólne rady, ponieważ nie stanowią konkretny problem, który próbujesz rozwiązać (np. skalowanie, szybkość odczytu, problemy z wymaganiem 100% spójności itd.).

Answer 3

Pytanie ma oczywiście już wiele miesięcy, ale ... Niedawno natknąłem się na InfiniDB, który stawia frontend MySQL na wysoce skalowalnym silniku Big Data opartym na MapReduce, przeznaczonym specjalnie do analiz. Może to być rozwiązanie tego problemu - w zasadzie powinno się w nim pojawić i wymagać bardzo niewiele administracji i kilku zmian w kodzie. Skalowanie w jednym miejscu lub na wielu serwerach jest obsługiwane ...

Answer 4

InfiniDB nie jest bezpłatny.

Wyjazd http://code.google.com/p/shard-query

To jak Map-Reduce nad sharded udostępnionego-nic zestaw baz danych. Działa doskonale do schematów STAR. Odłóż tabelę faktów na N węzłów i zduplikuj tabele wymiarów na każdym serwerze.

Można sprawdzić to na blogu o więcej informacji i testowania wydajności wyników:

http://www.mysqlperformanceblog.com/2011/05/06/scale-out-mysql/

FYI: Jestem autorem Shard-Query.