Czytanie pliku większego niż 2 GB w pamięci w Javie

Question

Ponieważ ByteArrayInputStream jest ograniczone do 2 GB, czy istnieje alternatywne rozwiązanie, które pozwala mi przechowywać całą zawartość pliku o wielkości 2,3 GB (i możliwie większego) w pliku InputStream, do odczytu przez Stax2?

Aktualny kod:

  XMLInputFactory xmlInputFactory = XMLInputFactory.newInstance(); 
      XMLStreamReader xmlStreamReader = xmlInputFactory.createXMLStreamReader(in); //ByteArrayInputStream???? 
      try 
      { 
       SchemaFactory factory = SchemaFactory.newInstance("http://www.w3.org/2001/XMLSchema"); 

       Schema schema = factory.newSchema(new StreamSource(schemaInputStream)); 
       Validator validator = schema.newValidator(); 
       validator.validate(new StAXSource(xmlStreamReader)); 

      } 

      finally 
      { 
       xmlStreamReader.close(); 
      } 

Dla tuningu, zmienna in nie musi pochodzić z dysku. Posiadam plenties pamięci RAM.

Answer 1

Użyj NIO, aby przeczytać plik w gigantycznym ByteBuffer, a następnie utwórz klasę strumienia, która czyta ByteBuffer. Jest kilka takich pływających w otwartych źródłach.

Answer 2

Jeśli masz duże ilości pamięci, i tak nie osiągniesz żadnej poprawy wydajności. Odbieranie odbywa się tylko raz, a pamięć podręczna dysku zapewnia optymalne działanie. Wystarczy użyć strumienia wejściowego na dysku.

Answer 3

Cały punkt StAX2 polega na tym, że nie trzeba czytać pliku w pamięci. Możesz po prostu dostarczyć źródło i pozwolić StAX StreamReader na pobieranie danych zgodnie z potrzebami.

Jakie dodatkowe ograniczenia nie są wyświetlane w pytaniu?

Jeśli masz dużo pamięci, a chcesz uzyskać dobrą wydajność, tylko owinąć InputStream z dużym buforem bajtów, i niech bufor zrobić buforowania dla Ciebie:

// 4 meg buffer on the stream 
InputStream buffered = new BufferedInputStream(schemaInputStream, 1024 * 1024 * 4); 

Alternatywą do rozwiązania to w Javie ma utworzyć RAMDisk i przechowywać na nim plik, który usunie problem z Java, gdzie twoim podstawowym ograniczeniem jest to, że możesz mieć tylko mniej niż Integer.MAX_VALUE wartości w pojedynczej tablicy.

Answer 4

można wykorzystywać pamięć zapisu danych skompresowanych do

ByteArrayOutputStream baos = new ByteArrayOutputStream 
... new GZIPOutputStream(baos)); 

byte[] bytes = baos.toByteArray(); // < 100 MB? 

ByteArrayInputStream .... 

A potem zawinąć strumień wejściowy w GZIPInputStream.

Wciąż niewielkie spowolnienie, ale powinno być idealne dla XML.