metoda zapisu CRUDRepository jest bardzo powolna?

Question

Chcę przechowywać niektóre dane w mojej bazie danych neo4j. używam do tego danych sprężynowych-neo4j.

mój kod jest jak następuje:

for (int i = 0; i < newRisks.size(); i++) { 
     myRepository.save(newRisks.get(i)); 
     System.out.println("saved " + newRisks.get(i).name); 
    } 

Moja newRisks-tablica zawiera około 60000 i 60000 krawędziach obiektów. Każdy węzeł i krawędź ma jedną właściwość. Czas trwania tej pętli wynosi około 15 - 20 minut, czy to normalne? Użyłem Java VisualVM do wyszukiwania niektórych wąskich gardeł, ale moje średnie użycie procesora było 10 - 25% (z 4 rdzeni), a mój stert był mniej niż w połowie pełny.

Czy są jakieś opcje, aby zwiększyć tę operację?

---

EDIT: dodatkowy jest na pierwszym wezwaniu myRepository.save(newRisks.get(i)); JVM spada assleep FPR kilka minut przed pierwszym wyjściem nadchodzi

Druga Edycja:

Ryzyko Klasa:

@NodeEntity 
public class Risk { 
    //... 
    @Indexed 
    public String name; 

    @RelatedTo(type = "CHILD", direction = Direction.OUTGOING) 
    Set<Risk> risk = new HashSet<Risk>(); 

    public void addChild(Risk child) { 
     risk.add(child); 
    } 

    //... 
} 

Tworzenie ryzyka:

@Autowired 
private Repository myRepository; 

@Transactional 
public Collection<Risk> makeSomeRisks() { 

    ArrayList<Risk> newRisks = new ArrayList<Risk>(); 

    newRisks.add(new Risk("Root")); 

    for (int i = 0; i < 60000; i++) { 
     Risk risk = new Risk("risk " + (i + 1)); 
     newRisks.get(0).addChild(risk); 
     newRisks.add(risk); 
    } 

    for (int i = 0; i < newRisks.size(); i++) { 
     myRepository.save(newRisks.get(i)); 
    } 

    return newRisks; 
} 

Answer 1

Problem polega na tym, że robisz mass-inserty z interfejsem API, który nie jest do tego przeznaczony.

Tworzysz ryzyko i 60k dzieci, najpierw zachowujesz root, który jednocześnie utrzymuje dzieci w wieku 60 tys. (I tworzy relacje). Dlatego pierwsza oszczędność trwa tak długo. A potem znowu ratujesz dzieci.

Istnieje kilka sposobów na przyspieszenie pracy z SDN.

1. nie używać podejścia do masowego zbierania wkładek, utrzymują się zarówno uczestników i użyć template.createRelationshipBetween (root, dziecko, "dziecko", false);

2. utrzymują dzieci najpierw następnie dodać wszystkie utrzymywały dzieci do obiektu głównego i utrzymują, że

3. Jak to zrobiłeś, użyj Neo4j-core API ale zadzwonić template.postEntityCreation (węzeł, Risk.class) tak że możesz uzyskać dostęp do jednostek za pośrednictwem SDN.Następnie musisz również indeksować encje na swoim własnym (db.index.forNodes ("Risk"). Add (node, "name", name);) (lub użyj auto-index neo4j core-api, ale to nie jest kompatybilny z SDN).

4. Niezależnie z podstawowej API lub SDN należy użyć TX-rozmiary około 10-20k węzłów/RELS dla uzyskania najlepszej wydajności

Answer 2

Czy wkładki do twojej bazy danych (poza Javą) mają takie samo opóźnienie lub czy jest to problem tylko przez dane sprężyny?

Answer 3

Chyba znalazłem rozwiązanie:

Próbowałem samą wkładkę używając Nativ neo4j Java API:

GraphDatabaseService graphDb; 
Node firstNode; 
Node secondNode; 
Relationship relationship; 

graphDb = new EmbeddedGraphDatabase(DB_PATH); 
Transaction tx = graphDb.beginTx(); 

try { 
    firstNode = graphDb.createNode(); 
    firstNode.setProperty("name", "Root"); 

    for (int i = 0; i < 60000; i++) { 
     secondNode = graphDb.createNode(); 
     secondNode.setProperty("name", "risk " + (i+1)); 

     relationship = firstNode.createRelationshipTo(secondNode, RelTypes.CHILD); 
    } 
    tx.success(); 
} 
finally { 
    tx.finish(); 
    graphDb.shutdown(); 
} 

wynik: po kilku sconds, baza danych jest wypełniona ryzyka .

Być może odbicia spowalniają tę rutynę za pomocą danych sprężynowych - neo4j. @ Michael Głód mówi coś takiego w swojej książce GoodRelationships, dzięki za wskazówkę.

Answer 4

I w obliczu tego samego problemu jak OP. Naprawdę przydatna w moim przypadku była zmiana trybu Neo4j z trybu zdalny serwer na osadzony. Dobry przykład osadzonego użycia SDN można znaleźć here.