Czy są dostępne skalowalne systemy przechowywania plików typu open source?

Question

Interesujące jest to, jakie oprogramowanie wykorzystuje firmy takie jak Dropbox, rapidshare, hotfile i inne do zarządzania ogromną ilością plików? Czy istnieje system open source? Przyjrzałem się gridFS, który opiera się na mongo-db. Wygląda na to, że nie jest to najlepszy wybór ze względu na szybkość (w porównaniu do nginx). Czy ja się mylę?

Chcę system, który może skalować w nieskończoność. Podłączając serwery do systemu. Na liście do 100 TB.

Answer 1

Zamówienie systemu plików MogileFS - http://danga.com/mogilefs/ - systemu plików open source opracowanego przez firmę Danga Interactive do użytku z usługami LiveJournal.com.

Jeśli nie chcesz/nie możesz korzystać z usług w chmurze, takich jak Amazon S3 i uruchamiać własne serwery, wówczas dobrym wyborem może być MogileFS. MogileFS jest niezawodny, zarządzanie i skalowanie jest bardzo łatwe i tanie.

Niestety, nie mogę dostarczyć żadnego porównania wydajności ani testów porównawczych do innych systemów plików. Ale nie powinieneś oczekiwać, że MogileFS zajmie pierwsze miejsce, ponieważ działa na poziomie aplikacji, co również może być zaletą.

Zobacz także stronę kodową Google wiecej informacje o: http://code.google.com/p/mogilefs/

Answer 2

Dropbox jest zbudowany na platformie Amazon S3 Dropbox - Where are my files stored.

Można znaleźć kilka opcji open source tutaj: Alternatives to Amazon S3

Answer 3

Dla Googler tam kto uważa, że ​​to pytanie:

FB ma tak wiele plików, które musieli napisać swój własny system plików; wiele plików jest przechowywanych w 1 gigantycznym pliku ze znacznikami między nimi. Odbywa się to w celu zmniejszenia liczby plików w systemie.

Co trzeba Wygląda Google File System

Answer 4

Co masz na myśli przez gridFS ma swoje granice pojemności duży stół jest? Czy mógłbyś bardziej konkretnie lub wskazać na jakąś dokumentację, w której to czytasz, ponieważ nie jestem świadomy ograniczeń pojemności z gridFS.

Answer 5

Hadoop na HDFS jest skalowalnym systemem plików. Inną opcją jest GlusterFS

Answer 6

GlusterFs to rozproszony system plików open source. W przeciwieństwie do HDFS nie ma scentralizowanych metadanych. Co oznacza, że ​​GlusterFS nie ma pojedynczego punktu awarii.