Jak odczytać duży plik xml bez wczytywania go do pamięci i używania XElement

Question

Chcę przeczytać duży plik xml (100 + M). Ze względu na jego rozmiar nie chcę ładować go do pamięci za pomocą XElement. Używam zapytań linq-xml do analizy i odczytu.

Jaki jest najlepszy sposób na zrobienie tego? Dowolny przykład kombinacji XPath lub XmlReader z linq-xml/XElement?

Proszę o pomoc. Dzięki.

Answer 1

Tak, można połączyć XmlReader z method XNode.ReadFrom, zobacz przykład w dokumentacji, która używa języka C# do selektywnego przetwarzania węzłów znalezionych przez XmlReader jako XElement.

Answer 2

Pamiętaj, że będziesz musiał czytać plik sekwencyjnie, a odnosząc się do rodzeństwa lub potomka będzie w najlepszym razie powolny, a w najgorszym - niemożliwe. W przeciwnym razie @MartinHonnn ma klucz.

Answer 3

Przykładowy kod w dokumentacji MSDN dla metody XNode.ReadFrom jest następujący:

class Program 
{ 
    static IEnumerable<XElement> StreamRootChildDoc(string uri) 
    { 
     using (XmlReader reader = XmlReader.Create(uri)) 
     { 
      reader.MoveToContent(); 
      // Parse the file and display each of the nodes. 
      while (reader.Read()) 
      { 
       switch (reader.NodeType) 
       { 
        case XmlNodeType.Element: 
         if (reader.Name == "Child") 
         { 
          XElement el = XElement.ReadFrom(reader) as XElement; 
          if (el != null) 
           yield return el; 
         } 
         break; 
       } 
      } 
     } 
    } 

    static void Main(string[] args) 
    { 
     IEnumerable<string> grandChildData = 
      from el in StreamRootChildDoc("Source.xml") 
      where (int)el.Attribute("Key") > 1 
      select (string)el.Element("GrandChild"); 

     foreach (string str in grandChildData) 
      Console.WriteLine(str); 
    } 
} 

Ale odkryłem, że metoda w przykładzie StreamRootChildDoc musi zostać zmieniony w następujący sposób:

static IEnumerable<XElement> StreamRootChildDoc(string uri) 
    { 
     using (XmlReader reader = XmlReader.Create(uri)) 
     { 
      reader.MoveToContent(); 
      // Parse the file and display each of the nodes. 
      while (!reader.EOF) 
      { 
       if (reader.NodeType == XmlNodeType.Element && reader.Name == "Child") 
       { 
        XElement el = XElement.ReadFrom(reader) as XElement; 
        if (el != null) 
         yield return el; 
       } 
       else 
       { 
        reader.Read(); 
       } 
      } 
     } 
    }