konto usunięte

Temat: MySQL i wielkosc bazy

Witam,

Jaki maksymalnie może mieć rozmiar baza danych w MySQL?

Według dokumentacji:
Linux 2.4+ (using ext3 filesystem) 4TB

tylko czy MySQL uciągnie tyle informacji?
Jakub Wartak

Jakub Wartak Szaman
UNIXa/Linux/Oracle,
IBM CATE

Temat: MySQL i wielkosc bazy

http://dev.mysql.com/doc/refman/5.1/en/full-table.html
OS dependant ale to co napisales to jest na tabele (max file size).
Moglbys tez wykorzystac ZFS z Solarisa 10/OpenSolarisa i miec:
# 16 EiB (2^64 bytes) — Maximum size of a file system
# 16 EiB — Maximum size of a single file
Ale nie polecalbym ZFS do baz, jeszcze zalezy tez jaki silnik.

A, MyISAM to pewnie limit (ilosc/wielkosc) plikow na FS. Z InnoDB zupelnie inaczej to wyglada

http://www.dbforums.com/mysql/378480-max-number-tables...
http://www.shinguz.ch/MySQL/mysql_limitations.html

###

Jeszcze typowy dla MySQL problem: http://jeremy.zawodny.com/blog/archives/000796.html (32-bit)Jakub Wartak edytował(a) ten post dnia 07.01.09 o godzinie 10:01

konto usunięte

Temat: MySQL i wielkosc bazy

Tak, silnikiem będzie MyISAM.

Serwer pod dystrybucją 64 bit.

Jeszcze zastanawiam się czy nie użyć postgre....

Jest szansa żeby MySQL uciągnął około 1 tb danych?
Jakub Wartak

Jakub Wartak Szaman
UNIXa/Linux/Oracle,
IBM CATE

Temat: MySQL i wielkosc bazy

Marcin Piątek:
Tak, silnikiem będzie MyISAM.

Serwer pod dystrybucją 64 bit.

Jeszcze zastanawiam się czy nie użyć postgre....

Jest szansa żeby MySQL uciągnął około 1 tb danych?

To zalezy co chcesz robic, jakie masz I/O czy chcesz raz wciagnac 1TB i tylko SELECTowac czy masz mieszanke wybuchowa DML+SELECTy (to powodzenia z MyISAM), na jakiej wersji z jakimi patchami, jaka charakterystyka ma byc tej bazy, ilosc rownlegle pracujacych klientow, ile rdzeni, czy ma byc klaster, itd. Baze sie dobiera do zastosowania chyba ze przeprowadzasz akademickie testy :)Jakub Wartak edytował(a) ten post dnia 07.01.09 o godzinie 12:23

konto usunięte

Temat: MySQL i wielkosc bazy

Baza ma przechowywać informacje z czujników z pewnego urządzenia... głownie int, float.

Klientów dużo nie będzie, na raz nie wiem czy więcej niż 2 osoby...

Z bazy będą szły tylko SELECT'y, poprostu dane do statystyk....

Myślałem nad rozwiązaniem master + slave'y, klaster też by był wyjściem.

Sprzęt jaki zakładałem: Xeon Quad Core, 8Gb Ram, 3x 1TB (raid-1).Marcin Piątek edytował(a) ten post dnia 07.01.09 o godzinie 13:35
Sebastian Sawicki

Sebastian Sawicki Kierownik działu
administracji siecią
i systemami IT

Temat: MySQL i wielkosc bazy

Przy linuksie maks to 4T
Pomysl o pgsql, jakos tak bezpiecznie bym sie czul z tak duza baza w pgsql, choc mialem w produkcji mysql z 1T.
S.

konto usunięte

Temat: MySQL i wielkosc bazy

tylko czy MySQL uciągnie tyle informacji?

Jedno czego bym nie robił to stawianie bazy na ext3 oraz na xfs. Fakt jest dużo narzędzy typu "recovery", ale pierwszy wolny, drugi "mało bezpieczny" w przypadku padnięcia zasilania/innych czynników losowych.

Przejrzyj ten artykuł:
http://www.scribd.com/doc/2569450/Lessons-Learned-in-B...
Dawid Węgliński

Dawid Węgliński System Administrator

Temat: MySQL i wielkosc bazy

Marcin Piątek:
Baza ma przechowywać informacje z czujników z pewnego urządzenia... głownie int, float.

Klientów dużo nie będzie, na raz nie wiem czy więcej niż 2 osoby...

Z bazy będą szły tylko SELECT'y, poprostu dane do statystyk....

Myślałem nad rozwiązaniem master + slave'y, klaster też by był wyjściem.

Sprzęt jaki zakładałem: Xeon Quad Core, 8Gb Ram, 3x 1TB (raid-1).Marcin Piątek edytował(a) ten post dnia 07.01.09 o godzinie 13:35

Bazy danych lubią generalnie dużo pamięci, więc imo powinienes poszerzyć rozmiar tego podzespołu. Klaster, powiedzmy trzech takich maszyn, można uznac już za wydajny przy tak sporej bazie danych.

Temat: MySQL i wielkosc bazy

W nowym MySQL jest implementacja partycjonowania, tak samo w PostgreSQL, przy partycjonowaniu po dacie powinno to sporo przyśpieszyć generowanie raportów. Przy okazji obchodzisz też ewentualny limit wielkości pliku.

Z benchmarków jakie przeglądałem (nie mam niestety możliwości sprzętowych do przetestowania tego u siebie) można wywnioskować że PostgreSQL skaluje się lepiej niż MySQL przy większej liczbie rdzeni. No i limit 32TB na tabele (dane z wikipedii).

Zawsze też możesz wrzucić obie bazy, wygenerować trochę losowych danych, zbenchmarkować i sprawdzić ;]. Byłoby miło poznac efekty takich testów ;]



Wyślij zaproszenie do