Łukasz C.

Łukasz C. Senior Technical
Architect

Temat: [zfs] backup

mam taki problem:

jest sobie serwer na ktorym sa dwie pule zfs v15,

- tank0 - stripe-mirror + ssd zil + ssd l2arc - ~1.5TB
- tank1 - raid-z - ~6TB

tank0 jest wystawiony po nfs jako storage dla xenservera, tank1 to zbiornik na backup

w jaki sposob zrealizowac backup w taki sposob aby:
- backup odbywal sie bez potrzeby zatrzymywania wirtualek
- tank0 byl backupowany codziennie
- tank1 byl uzyty jako kontener dla backupu tank0
- mozna bylo odtworzyc dane z backupu na tank1 w sytuacji gdy tank0 nawali

zfs v15, freebsd

konto usunięte

Temat: [zfs] backup

Jeśli zrobisz snapshot tank0 i wysłać jaki snapshot przez send/receive na tank1.
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: [zfs] backup

Zastanawiam mnie kilka kwestii przy takim podejściu do backup.

Normalny backup (standardowe podejście do tematyki backup) polegało na normalnym kopiowaniu plików i były integralne, kompletne. A przy z snapshotu jak wygląda. Bo jak wykona snapshot w czasie gdy user edytuje plik 3 GB tzn następuje zapisywanie tych zmian w tym pliku. To jak wygląda potem sprawa z tym plikiem. Bo jednocześnie jest dokonywana zmiana pliku i wykonywany snapshot całego volumenu na którym jest plik.
Zastanawiam się czy w snapshot ten plik będzie nie kompletny nie dokończony co potem może skutkować efektem uszkodzenia pliku.
Czy jest tak jak z bazami. Nanosi zmiany w bazie a na końcu, gdy wszystkie zmiany zostaną naniesione wysyła polecenie, iż zapis został zakończony i potwierdza te zmiany. Od tego momentu nowe zmiany są aktywne, widoczne.

Jak system plików rozwiązuje takie problemy. W sumie jest już na skale przemysłową wykorzystywane takie podejście do backup. Np. przy backup maszyn wirtualnych za pomocą Veeam Backup & Recovery.

Zastanawiam się, czy ta metoda jest bezpieczna i zapewniająca, iż przywrócone pliki nie okażą się z jakimiś defektami.

Nie wiem czy dobrze mnie rozumiecie.Krzysztof Rusin edytował(a) ten post dnia 07.09.12 o godzinie 15:32

konto usunięte

Temat: [zfs] backup

Ja polecam jeszcze opcje snapshotów i ich zapisaywania w sposób incrementalny, czyli raz na tydzień zapis całości, natomiast potem zapisujemy tylko snapshoty incrementalnie.

Natomiast jeżeli chodzi o przykład podany przez Krzysztofa to niestety przy pomocy zfsa nie da się zrealizować takiego działania, no chyba że będziemy wyłączali wirtualki, ale nie o to chyba chodzi ...Dawid Rogaczewski edytował(a) ten post dnia 07.09.12 o godzinie 15:29

konto usunięte

Temat: [zfs] backup

Można zrobić pauzę wirtualki, zrzucić pamięć i dysk na bok jako backup.

konto usunięte

Temat: [zfs] backup

Michał Kozłowski:
Można zrobić pauzę wirtualki, zrzucić pamięć i dysk na bok jako backup.


chyba nie za bardzo to ma się do założeń podanych przez autora wątku:
Łukasz Cepowski:
w jaki sposob zrealizowac backup w taki sposob aby:
- backup odbywal sie bez potrzeby zatrzymywania wirtualekDawid Rogaczewski edytował(a) ten post dnia 07.09.12 o godzinie 21:29

konto usunięte

Temat: [zfs] backup

Krzysztof Rusin:
Zastanawiam się, czy ta metoda jest bezpieczna i zapewniająca, iż przywrócone pliki nie okażą się z jakimiś defektami.

Snapshot to snapshot, powinien być spójny w chwili zrobienia. Przetestuj. :)
Łukasz C.

Łukasz C. Senior Technical
Architect

Temat: [zfs] backup

dzieki za odpowiedzi, doczytalem troche i wyglada na to ze zarowno ZFS jak i XenServer maja snapshoty, z tym ze o ile zfs snapshot bylby prosty w implementacji to mam obiekcje co do snapshotowania samej maszyny "z zewnatrz" w czasie gdy jest uruchomiona :S

google mowi ze da rade zrobic snapshot z poziomu xenservera i go wyeksportowac na osobny storage,

orientuje sie ktos czy idzie zrobic taki snapshot jednorazowo, wyeksportowac go i nastepnie "nakladac" na niego jedynie delty, np: co kilka minut?
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: [zfs] backup

Jakub Purtal:
Krzysztof Rusin:
Zastanawiam się, czy ta metoda jest bezpieczna i zapewniająca, iż przywrócone pliki nie okażą się z jakimiś defektami.

Snapshot to snapshot, powinien być spójny w chwili zrobienia. Przetestuj. :)
Powinien! to słowo klucz.

Testy moje nie sprawdzą wszystkiego to co może zdarzyć się produkcji. Gdzie może okazać się, potem, iż nie przetestowałem jakiś wariant, który może się w życiu zdarzyć. A potem co powiem? Powinno działać!

Snapshot wykorzystywany jest u mnie np. wyłącznie przez Veeam Backup do tworzenia backup i nie ma problemów. Lecz w ESXi jest inny system plików niż np. w nexentastor z ZFS.
Należy przypomnieć, że snapshot to nie backup (często pada takie stwierdzenie w goldenline).

Chcę wdrożyć u siebie takie rozwiązanie. Postawić dwie macierze na nexentastor w dwóch lokalizacjach. Jeden w serwerowni na którym by serwer bezpośrednio zrzucał na macierz. A potem snapshot macierzy i wysyłanie danych do drugiej macierzy przez rsync. (w nexentastor można włączyć opcje, która pozwoli dostać się do snapshota przez odpowiedni folder)

Ale zastanawiam się czy już są osoby co korzystają z tego podejścia. Puki co to mało postów jest tutaj. W google też jakiś rewelacji nie znalazłem.

konto usunięte

Temat: [zfs] backup

Łukasz C.:
google mowi ze da rade zrobic snapshot z poziomu xenservera i go wyeksportowac na osobny storage,

Czy mi się wydaje czy przez XenServer masz na myśli xen-a ze starydżem na lvm-ie? Tak, na lvm-ie da się zrobić snapshot.

konto usunięte

Temat: [zfs] backup

Krzysztof Rusin:
(ciach)
Ale zastanawiam się czy już są osoby co korzystają z tego podejścia. Puki co to mało postów jest tutaj. W google też jakiś rewelacji nie znalazłem.

Możesz poszukać "Oracle VM", bazuje na Xen i może coś ciekawego w dokumentacji będzie.
Sam nie używam, ale mam zamiar postawić w domu, co by się przyjrzeć.
Wygląda, że ma "ciekawe" klikane zarządzanie virtualkami, czego brakowało mi w Xen na Sles 11.
Krzysztof Eugeniusz Kotkowicz

Krzysztof Eugeniusz Kotkowicz Freelancer,
Administrator
systemów
teleinformatycznych

Temat: [zfs] backup

Krzysztof Rusin:
Snapshot to snapshot, powinien być spójny w chwili zrobienia. Przetestuj. :)
Powinien! to słowo klucz.

To może przeczytaj najpierw, jak działa snapshot i dlaczego JEST SPÓJNY?
Krzysztof K.

Krzysztof K. Administrator
systemów IT i sieci
- otwarty na
propozycje...

Temat: [zfs] backup

Krzysztof Eugeniusz Kotkowicz:
Krzysztof Rusin:
Snapshot to snapshot, powinien być spójny w chwili zrobienia. Przetestuj. :)
Powinien! to słowo klucz.

To może przeczytaj najpierw, jak działa snapshot i dlaczego JEST SPÓJNY?
Jak czytałeś to zapodaj link lub napisz coś więcej o tym, dlaczego nie ma potrzeby martwić się o sytuacje jakie wyżej były wymienione.
Snapshot w sumie ma proste działanie ale mechanizm w jaki sposób wykonuje nie zapewni, że vm-usługi będą zawsze poprawnie działać po odtworzeniu z snapshotu. Mieć będzie trzeba świadomość, że najlepiej wykonywać snapshot, gdy vm ogólnie nie wykonuje operacji. Chodzi o operacje rozpoczęte przed snapshot, które muszą być zakończone aby vm poprawnie działał.

Wyobrażam sobie, iż snapshot to taki stan dla systemu, który po odtworzeniu zachowuje się jak po zaniku napięcia.

Więc to zależy co system robił w danej chwili. Bo jeśli mamy serwer na którym mamy kilka naście vm i jeszcze zarządzane przez inne osoby. To trzeba być przygotowany, iż trzeba mieć kilka snapshotów z rożnych czasów.
np. Jeden admin w tym czasie kompilował jądro systemu - VM1. Drugi nic nie robił VM2 itd. Wiec po odtworzeniu z snapshot vm1, w którym admin dokonywał zmian w system będzie uszkodzony. Powiecie, że to oczywiste. Ale mieć trzeba świadomość o takich sytuacjach. Z bazą danych na pewno nie będzie tak łatwo. Mimo, że pliki systemu plików będzie spójny.

Podejrzewam, że snapshot wykonany przez system plików ZFS dla storage xenserver za dobrze nie zda egzaminu. Bo VM w którym była by baza danych z pewnością ukazał by problem -jakie? sam ciekaw jestem. Może nie będzie!. Sądzę, że należało by na chwile wstrzymać usługi na czas wykonania snapshotu i po wykonaniu snapshot uruchomić ponownie usługi.

W sumie wystarczy zadać adminom dlaczego montują UPS do serwerów! Nawet system XP potrafi po zaniku napięcia narobić bałaganu – bardzo rzadko ale zdarza się. Miałem na jednym serwerze Novell Netware 6. I jemu takie przypadki nie były straszne, bo system raz zainstalowany działa latami. W systemowych plikach nic nie jest robione np.bo nie posiada automatycznej aktualizacji takie jak w win 2008. Novell Netware 6 bez problemów wstaje po zaniku napięcia. Ponieważ system plików przygotowany jest do takich sytuacji.Krzysztof Rusin edytował(a) ten post dnia 11.09.12 o godzinie 07:29
Łukasz C.

Łukasz C. Senior Technical
Architect

Temat: [zfs] backup

http://hardforum.com/showthread.php?t=1715647

z tego co ludzie pisza, to robia backup wirtualek jako snapshot zfs i niby to dziala jak po twardym resecie / zaniku napiecia.

mial ktos do czynienia z takim rozwiazaniem w produkcji?

konto usunięte

Temat: [zfs] backup

Łukasz C.:
http://hardforum.com/showthread.php?t=1715647

z tego co ludzie pisza, to robia backup wirtualek jako snapshot zfs i niby to dziala jak po twardym resecie / zaniku napiecia.

mial ktos do czynienia z takim rozwiazaniem w produkcji?


Jeżeli chodzi o samo działanie systemu to ja nie widzę żadnego problemu z tym.

W przypadku technologi Solaris LDOMs, wiele razy tworzyliśmy snapa LDOMa z poziomu Control Domain i potem to odzyskiwaliśmy. Mam tu oczywiście rozwiązania enterprise gdzie OS zawsze leży na oddzielnym filesystemie. Pliki z danymi aplikacji (baza danych, itd) leży na innym filesystemie.

Sam system operacyjny backupowany poprzez snapa to nie problem, gdyż zwykle / filesystem jest prawie statyczny (pomijając logi, itp), ale jeżeli zaczniesz snapować konkretne dane gdzie będzie w danej chwili dużo edytowanych plików może okazać się że stracisz integralność danych i nie chodzi mi że nie będziesz w stanie ich otworzyć itd. ale w sensie integralności i spójności informacji która jest w nich przechowywana.

Temat: [zfs] backup

Nie wiem jak rozwiązałeś swój problem ale istnieje jeszcze ciekawy soft do zarządzania tym wszystkim [1]. Działa też na FreeBSD.

[1] http://code.google.com/p/zxfer/

Następna dyskusja:

Kto oferuje dobry backup?




Wyślij zaproszenie do