Dodawanie szyfrowania do indeksów Solr/lucene

Question

Obecnie używam Solr do świadczenia usług wyszukiwania w niektórych wrażliwych dokumentach.

Jako że Solr/Lucene zapewnia szybkie wyszukiwanie poprzez przechowywanie odwróconych indeksów poufnych informacji w postaci zwykłego tekstu na dysku, istnieje potrzeba szyfrowania tych plików indeksu, aby nieuprawnione osoby nie mogły uzyskać do nich dostępu, pomijając zabezpieczenia systemu .

Znalazłem podobne łatki otwarte na Apache JIRA AES encrypted directory i Codec for index-level encryption.

Katalog zaszyfrowany AES wygląda obiecująco, ale ta łatka została zaimplementowana dla lucene 3.1, ponieważ używam nowszej wersji, nie jestem pewien, czy ta łatka może być używana z wersją Lucene 5 lub wyższą.

Zastanawiam się, czy istnieje sposób wdrożenia środka bezpieczeństwa, który szyfruje indeksy lub czy istnieje możliwość napisania niestandardowej wtyczki, która może szyfrować/odszyfrowywać indeksy na poziomie I/O (np. FsDirectory)?

Answer 1

Dyskusja w sekcji komentarzy LUCENE-6966, którą udostępniłeś jest naprawdę interesująca. Rozumiem z tym quote of Robert Muir, że nie ma nic wypalonego w Solr i prawdopodobnie nigdy nie będzie.

Co ważniejsze, szyfrowanie na poziomie plików, dane będą przebywać w niezaszyfrowanej formie w pamięci, która nie jest do zaakceptowania dla naszego zespołu bezpieczeństwa, a zatem nie-startowy dla nas.

To przemawia głośno. Powinieneś zwolnić swój zespół bezpieczeństwa! Marnujesz czas, martwiąc się o to: jeśli używasz lucenu, twoje dane będą w pamięci, w postaci zwykłego tekstu, w sposób, który nie będziesz mógł kontrolować, i nic nie możesz na to poradzić!

Próba zagwarantowania czegoś lepszego niż "w spoczynku" to poważna sprawa, brzmi jak twój zespół jest ponad ich głowami.

Powinieneś rozważyć zaszyfrowanie pamięci, której Solr używa na poziomie systemu operacyjnego. Powinno to być przejrzyste dla Solr. Ale jeśli ktoś wejdzie do twojego systemu, nie będzie mógł skopiować danych Solr.

Jest to również zawarcie artykuł Encrypting Solr/Lucene indexes od Erick Erickson z Lucidwors zwraca w końcu

Krótka forma jest to, że jest to jeden z tych pomysłów, które nie wytrzymuje krytyki. Jeśli obawiasz się o bezpieczeństwo na tym poziomie, prawdopodobnie najlepiej będzie wziąć pod uwagę inne opcje, od zabezpieczenia kanałów komunikacyjnych do używania systemu szyfrowania plików do fizycznego rozłączenia systemu z sieciami publicznymi. Oczywiście, nigdy nie powinno się pozwolić, aby twoja działająca instalacja Solr była dostępna bezpośrednio ze świata zewnętrznego, rozważ następujące kwestie: http://server:port/solr/update?stream.body=<delete><query>*:*</query></delete>!