Poleć szybką i skalowalną mapę trwałą - Java

Question

Potrzebuję struktury mapy opartej na dysku, która będzie używana w aplikacji Java. Musi posiadać następujące kryteria:

1. Zdolne do przechowywania miliony rekordów (nawet miliardy)
2. Szybka Lookup - większość operacji na Mapie będzie po prostu sprawdzić, czy klucz już istnieje. To i 1 powyżej to najważniejsze kryteria. Powinien istnieć skuteczny mechanizm buforowania pamięci dla często używanych kluczy.
3. Trwały, ale nie musi być transakcyjny, może żyć z pewną awarią. tzn. z przyjemnością synchronizuje się z dyskiem okresowo i nie musi być transakcyjne.
4. Zdolne do przechowywania prostych typów pierwotnych - ale nie trzeba przechowywać serializowanych obiektów.
5. Nie trzeba jej rozprowadzać, tzn. Uruchamiać wszystko na jednym komputerze.
6. Prosty w konfiguracji & za darmo.
7. Brak zapytań relacyjnych wymagane

Records klawisze będą ciągi lub tęskni. Jak opisano powyżej, odczyty będą znacznie częstsze niż zapisy, a większość odczytów będzie po prostu sprawdzać, czy klucz istnieje (tj. Nie będzie musiał czytać powiązanych danych kluczy). Każdy rekord będzie aktualizowany tylko jeden raz, a zapisy nie zostaną usunięte.

Obecnie używam Bdb JE, ale szukam innych opcji.

---

Aktualizacja

od tego czasu poprawy wydajności zapytań na mojego istniejącej konfiguracji BDB poprzez zmniejszenie uzależnienia od kluczy wtórnych. Niektóre zapytania wymagały sprzężenia na dwóch pomocniczych kluczach, a łącząc je w klucz złożony, usunąłem poziom pośredni w wyszukiwaniu, co przyspiesza ładowanie.

Answer 1

Najprawdopodobniej skorzystam z lokalnej bazy danych. Jak na przykład Bdb JE lub HSQLDB. Czy mogę zapytać, co jest nie tak z tym podejściem? Musisz mieć jakiś powód, by szukać alternatyw.

W odpowiedzi na komentarze: Jako wydajność problemu i myślę, że już używasz JDBC do obsługi tego, warto spróbować przetestować HSQLB i przeczytać rozdział o Memory and Disk Use.

Answer 2

Myślę, że może z łatwością spełnić wszystkie Twoje wymagania.

Answer 3

SQLite to robi. Napisałem opakowanie do używania go z Javy: http://zentus.com/sqlitejdbc

Jak wspomniałem w komentarzu, z powodzeniem użyłem SQLite z gigabajtami danych i tabelami setek milionów wierszy. Jeśli dobrze wymyślisz indeksowanie, jest to bardzo szybkie.

Jedynym problemem jest interfejs JDBC. W porównaniu z prostą mapą HashMap, jest niezgrabny. Często kończę pisanie JDBC-wrapper dla konkretnego projektu, który może dodać do wielu kodu na płycie głównej.

Answer 4

JBoss (tree) Cache to doskonała opcja. Możesz go używać samodzielnie od JBoss. Bardzo wytrzymały, wydajny i elastyczny.

Answer 5

Możesz zajrzeć do OrientDB.

Answer 6

Znalazłem Tokyo Cabinet jako proste uporczywe Hash/Map i szybkie do skonfigurowania i użycia.

Ta skrócona przykład wzięty z the docs, pokazuje, jak łatwo jest, aby zapisać i odzyskać dane z przetrwałym mapie:

// create the object 
    HDB hdb = new HDB(); 
    // open the database 
    hdb.open("casket.tch", HDB.OWRITER | HDB.OCREAT); 
    // add item 
    hdb.put("foo", "hop"); 
    hdb.close(); 

Answer 7

JDBM3 robi dokładnie to, czego szukasz. Jest to biblioteka map dyskowych z bardzo prostym API i wysoką wydajnością.

UPDATE

Ten projekt teraz przekształciła MapDB http://www.mapdb.org

Answer 8

Można spróbować Java Kroniki z http://openhft.net/products/chronicle-map/ Kronika mapa jest duża wydajność, off-kupie, klucz-wartość, w pamięci, trwało magazyn danych. Działa jak standardowa java map

Answer 9

Na dzień dzisiejszy użyłbym albo MapDB (synchronizacja oparta na plikach/synchronizacja lub asynchronizacja) lub Hazelcast. W późniejszym czasie będziesz musiał zaimplementować własne uporanie, tj. Poparte przez RDBMS poprzez implementację interfejsu Java. OpenHFT kronika może być inną opcją. Nie jestem pewien, jak działa tam wytrwałość, odkąd nigdy jej nie użyłem, ale twierdzenie, że mam. OpenHFT jest całkowicie wyłączoną stertą i pozwala na częściowe aktualizacje obiektów (prymitywów) bez (de-) serializacji, co może być zaletą wydajności.

UWAGA: Jeśli potrzebujesz dysku mapowego opartego na problemach z pamięcią, najłatwiejszą opcją jest MapDB. Hazelcast może być wykorzystywany jako pamięć podręczna (rozproszona lub nie), która pozwala eksmitować elementy z sterty po czasie lub rozmiarze. OpenHFT jest off-stosem i może być brane pod uwagę, jeśli potrzebujesz tylko trwałości dla restartów jvm.