Wieczorem30 milionów wierszy w MySQL
Idę przez długi proces importowania danych z poobijany, 15-letni, tylko do odczytu formatu danych do MySQL zbudować kilka mniejszych tabel statystycznych z nim .
Największa tablica, którą zbudowałem wcześniej, była (jak sądzę) 32 miliony wierszy, ale nie spodziewałem się, że osiągnie tak dużą wartość i naprawdę nadweręży MySQL.
tabela będzie wyglądać następująco:
surname name year rel bco bplace rco rplace
Jones David 1812 head Lond Soho Shop Shewsbury
Więc małe ints i varchars.
Czy ktokolwiek może zaoferować porady, jak szybko uzyskać to w pracy? Czy indeksy któregoś z coulmnów pomogłyby, czy po prostu spowolniłyby zapytania.
Duża część danych w każdej kolumnie będzie wielokrotnie powielana. Niektóre pola mają nie więcej niż około 100 różnych możliwych wartości.
Głównymi kolumnami, które będę sprawdzać w tabeli są: nazwisko, imię, rco, miejsce.
Indeksy przyspieszają pobieranie danych i spowalnianie wstawiania danych. Ogólnie rzecz biorąc, są one bardzo dobre: proponuję je utworzyć dla każdej z kolumn, w których możesz przesłać zapytanie do tabeli. – eggyal
30 milionów wierszy to niewiele dla nowoczesnego RDBMS. O ile oczywiście nie wykonujesz pełnych skanów tabel bez indeksów, oczywiście. –
Dzięki za komentarz. Myślę, że to był jeden z problemów z moim 32 mil. tabela wierszy. Wstawianie wierszy powodowało awarie. –