Scala parser syntezatora, duży plik problem

Question

Pisałem parser następująco:

class LogParser extends JavaTokenParsers { 

    def invertedIndex: Parser[Array[Array[(Int, Int)]]] = { 
    num ~> num ~> num ~> rep(postingsList) ^^ { 
     _.toArray 
    } 
    } 

    def postingsList: Parser[Array[(Int, Int)]] = { 
    num ~> rep(entry) ^^ { 
     _.toArray 
    } 
    } 

    def entry = { 
    num ~ "," ~ num ^^ { 
     case docID ~ "," ~ count => (docID.toInt, count.toInt) 
    } 
    } 

    def num = wholeNumber ^^ (_.toInt) 

} 

Gdybym analizować z (270MB) plik z FileReader następująco:

val index = parseAll(invertedIndex, new FileReader("path/to/file")).get 

Dostaję Exception in thread "main" java.lang.StackOverflowError (próbowałem również owijania w BufferedReader), ale można to naprawić przez pierwsze czytanie pliku w ciąg tak:

val input = io.Source.fromFile("path/to/file") 
val str = input.mkString 
input.close() 
val index = parseAll(invertedIndex, str).get 

Dlaczego tak się dzieje? Czy istnieje sposób, aby najpierw nie czytać jako String, wydaje się być marnotrawstwem?

Answer 1

Istnieje inna biblioteka [1], która jest bardzo podobna do kombinatorów parsera scala, który obsługuje Trampolining, co jest potrzebne, aby zatrzymać błędy stackoverflow.

[1] https://github.com/djspiewak/gll-combinators