GoldenLine
Zaloguj się
Radek Rzążewski

Radek Rzążewski Właściciel, ARCHE

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Mam takie dwa identyczne dyski:

/dev/sda: 250.0 GB
Vendor: ATA Model: ST3250620AS Rev: 3.AA
Type: Direct-Access ANSI SCSI revision: 05

sdb taki sam.

Niestety kopiowanie tych dysków dd trwa... 7godzin :>

hdparm -d1 wywala mi (no wiem, że to udma):
/dev/sdb:
setting using_dma to 1 (on)
HDIO_SET_DMA failed: Inappropriate ioctl for device


może ktoś wie czy da się to jakoś szybciej przekopiować? ;)
Link do wypowiedziLink

konto usunięte

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

bez załadowania sterownika kontrolera będzie trudno. może odpal z jakiegoś livecd który powinien się skonfigurować poprawnie z automatu.
Link do wypowiedziLink
Adrian Czerniak

Adrian Czerniak Administrator
Systemów Uniksowych

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Korzystnie na szybkość działania dd może wpłynąć ustawienie dużego ibs i obs (man dd), najlepiej aby była to wielokrotność wielkości bloku danych w systemie plików (zwykle wielokrotność pięciuset dwunastu bajtow).
Link do wypowiedziLink
Radek Rzążewski

Radek Rzążewski Właściciel, ARCHE

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Michał K.:
bez załadowania sterownika kontrolera będzie trudno. może odpal z jakiegoś livecd który powinien się skonfigurować poprawnie z automatu.

Kopiuję dyski pod odpalonym LiveDVD Gentoo (górą! ;>) w wersji 2006.1. Ustawia hdparma przy starcie, ale tylko na hda ;)

Więc kernelem się pobawić nie za bardzo mogę.

Pytanie następne się nasuwa - który Livecd da mi takie możliwości uruchomienia /dev/sda przy moim dysku i włączonym DMA ? ;) Bo jest ich trochę ;))
Link do wypowiedziLink
Radek Rzążewski

Radek Rzążewski Właściciel, ARCHE

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Adrian C.:
Korzystnie na szybkość działania dd może wpłynąć ustawienie dużego ibs i obs (man dd), najlepiej aby była to wielokrotność wielkości bloku danych w systemie plików (zwykle wielokrotność pięciuset dwunastu bajtow).


Dzięki za pomysł - zainicjuję przy następnym dd czyli jutro ;))
Link do wypowiedziLink
Michal Oczak

Michal Oczak sysadmin/webdev

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

nie sugeruj sie za bardzo tym co mowi hdparm jesli chodzi o dyski sata lub ata uzywajace libata w kernelu czyli widoczne jako sdX, one maja automatycznie wszystko ustawione

dlaczego dd? nie mozesz normalnie podmontowac partycji i skopiowac danych? dd zawsze bedzie takie wolne bo kopiuje sektory a nie tylko dane

jest juz gentoo 2007.0
Link do wypowiedziLink
Radek Rzążewski

Radek Rzążewski Właściciel, ARCHE

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Michal O.:
dlaczego dd? nie mozesz normalnie podmontowac partycji i skopiowac danych? dd zawsze bedzie takie wolne bo kopiuje sektory a nie tylko dane
aby nie bawić się później w grubie żeby np linux wystartował. mam tam 4 partycje linux/windows. mi chodzi o _identyczne_ zachowanie partycji (co do rozmiarów i położenia).
dysk sdb to dysk z którego wszystko jest kopiowane na sda
jest juz gentoo 2007.0
wiem Michale, jednak odpalana z livedvd nie robi dla mnie większej różnicy (przy dd) :) mi bardziej chodziło o samą dystrybucję niż jej wersję ;)Radek Rzążewski edytował(a) ten post dnia 19.08.07 o godzinie 16:13
Link do wypowiedziLink

konto usunięte

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Radek R.:
Michal Oczak:
dlaczego dd? nie mozesz normalnie podmontowac partycji i skopiowac danych? dd zawsze bedzie takie wolne bo kopiuje sektory a nie tylko dane
aby nie bawić się później w grubie żeby np linux wystartował. mam tam 4 partycje linux/windows. mi chodzi o _identyczne_ zachowanie partycji (co do rozmiarów i położenia).
dysk sdb to dysk z którego wszystko jest kopiowane na sda
jest juz gentoo 2007.0
wiem Michale, jednak odpalana z livedvd nie robi dla mnie większej różnicy (przy dd) :) mi bardziej chodziło o samą dystrybucję niż jej wersję ;)Radek Rzążewski edytował(a) ten post dnia 19.08.07 o godzinie 16:13

Jeżeli można używać oprogramowania firm trzecich ;) - to ja używam clonezilli (GPL). Możesz z tego zrezygnowac używając samego partimage.
Czas kopiowania dysku (np. S-ATA 120 GB, 99 GB danych, dysk to disk, full copy, to ok. 40 minut )
Metod kopiowania wiele - standalone, bootowalne iso, start z sieci (DRBL+Clonezilla rulez).
Link do wypowiedziLink
Tomasz Jezierski

Tomasz Jezierski współwłaściciel,
Tefnet

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Radek R.:
Michal Oczak:
jest juz gentoo 2007.0
wiem Michale, jednak odpalana z livedvd nie robi dla mnie większej różnicy (przy dd) :) mi bardziej chodziło o samą dystrybucję niż jej wersję ;)Radek Rzążewski edytował(a) ten post dnia 19.08.07 o godzinie 16:13

Jesli to jest w miare nowa plyta glowna to jest to dosc celna uwaga... sporo sie dzieje w modulach SATOwych wiec dobrze jest miec cos w miare nowego... sprawdz tez moze na jakim module chodzi twoj kontroler SATA... intelowe np maja mozliwosc pracy w trybie AHCI ktory jest zwykle z 2x wolniejszy od dedykowanego modulu PIIX..

Jesli masz kontroler SIL-a to byl tez problem wspolpracy dyskami Seagate (byly dodane w zrodlach do blacklisty ktora spowalniala je konkretnie)... zobacz czy to Ciebie nie dotyczy...

Pomysl z opcja ibs obs dla dd tez jest godny uwagi... tylko wystarczy zamiast tych 2 parametrow ustawic tylko jeden... bs
Link do wypowiedziLink

konto usunięte

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Michal O.:
dlaczego dd? nie mozesz normalnie podmontowac partycji i skopiowac danych? dd zawsze bedzie takie wolne bo kopiuje sektory a nie tylko dane

Wiesz, z dd to nie takie proste. Jak partycja ma 25% zajętości to zgoda, ale przy jakimś tam 50%+ większość partycji pójdzie szybciej przez dd (przy rozsądnym dd), bo nie ma operacji systemu plików (księgowania itd.). Zwłaszcza przy psychiatrycznie nabitych małymi plikami /var czy /tmp (zwł. na ext3), dd powinno śmigać bez porównania szybciej.

PS. Of korz Gentoo rulez :)
Link do wypowiedziLink
Adam W.

Adam W. Project Manager,
Programista,
Specjalista IT,
Starsoft, A...

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

witam,

a probowals ustawic bs na jakas wartosc? np 4096, bo domyslnie dd chyba kopiuje po 1 bajcie, a tak to wiem ze bedzie szybciej.

a jezeli chodzi o dma - to nie jestem pewien czy to dlatego ze sdx to niby scsi, a tam sie dma chyba nie ustawia

AdamAdam W. edytował(a) ten post dnia 19.08.07 o godzinie 21:53
Link do wypowiedziLink
Michal Oczak

Michal Oczak sysadmin/webdev

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

jesli uzywasz libata a raczej tak to nic nie trzeba ustawiac hdparm, tak jak juz pisalem, http://linux-ata.org/faq.html

podobno dd z bs=4k dziala najwydajniej

co do wydajnosci dd vs. cp wydaje mi sie ze jednak cp bedzie szybsze, wiekszosc softu do kopiowania uzywa go na pierwszym miejscu, dopiero pozniej dd ale kiedys sprawdze jak to jest przy roznej zajetosci partycji

jeszcze jest cos takiego jak http://www.cons.org/cracauer/cstream.htmlMichal Oczak edytował(a) ten post dnia 21.08.07 o godzinie 01:49
Link do wypowiedziLink
Radek Rzążewski

Radek Rzążewski Właściciel, ARCHE

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Dobrze, aby zakończyć temat podam tylko, że skuteczna porada okazała się z opcją "bs=". I tak wartości:

bs=16384 - 1 godz. 5 min.
bs=8192 - 1 godz. 7 min.
bs=4096 - 1 godz. 7 min.
bs=2048 - 6 godz. 53 min.

przypomnę - kopiowanie dwóch identycznych dysków (dysk->dysk) o poj. 250GB

Dzięki wielkie za rady.
Link do wypowiedziLink

konto usunięte

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

a kopiowanie za pomoca programu tar ??

tar -cp src1/ src2/ | tar -C dest/ -xvp

na pewno o wiele szybsze niz klonowanie fizyczne sektorów za pomocą dd
Link do wypowiedziLink
Tomasz Jezierski

Tomasz Jezierski współwłaściciel,
Tefnet

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Łukasz B.:
a kopiowanie za pomoca programu tar ??

tar -cp src1/ src2/ | tar -C dest/ -xvp

na pewno o wiele szybsze niz klonowanie fizyczne sektorów za pomocą dd

Przy partycjach z duza iloscia katalogow i malych plikow wypelniona po brzegi (np squidowa) na 100% wolniejsze...
Link do wypowiedziLink

konto usunięte

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

w takim wypadku polecam filesystem bardziej dostosowany do takich danych - reiserfs. pracuje on wiele wydajniej dla plikow o niewielkiej wielkosci, co bedzie tez mialo znaczacy wplyw na proces kopiowania
Link do wypowiedziLink
Tomasz Jezierski

Tomasz Jezierski współwłaściciel,
Tefnet

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Łukasz B.:
w takim wypadku polecam filesystem bardziej dostosowany do takich danych - reiserfs. pracuje on wiele wydajniej dla plikow o niewielkiej wielkosci, co bedzie tez mialo znaczacy wplyw na proces kopiowania

pomijajac fakt ze reiser wcale nie jest taki duzo lepszy od ext3 (a czesto gorszy)... nie ma mozliwosci zeby jakikolwiek FS z tysiacami plikow i katalogow byl szybszy od liniowego odczytu/zapisu danych
Link do wypowiedziLink

konto usunięte

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Tomasz J.:
pomijajac fakt ze reiser wcale nie jest taki duzo lepszy od ext3 (a czesto gorszy)...

ReiserFS na pewno miał od razu indeksowane katalogi, które pojawiły się znacznie później w ext3.
nie ma mozliwosci zeby jakikolwiek FS z tysiacami plikow i katalogow byl szybszy od liniowego odczytu/zapisu danych

To zależy od ilości tych danych. Czasem lepiej będzie przekopiować filesystem "plikowo" (można wybrać rzeczywiste dane, bez pustych bloków, że o plikach sparse nie wspomnę), czasem lepiej "blokowo" (nie ma innego wyboru, niż cały naraz). W pewnych sytuacjach po prostu nie ma innego wyboru, niż skopiowanie dysku sektor po sektorze.Paweł S. edytował(a) ten post dnia 18.10.07 o godzinie 12:20
Link do wypowiedziLink

konto usunięte

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Tomasz J.:
Łukasz B.:
w takim wypadku polecam filesystem bardziej dostosowany do takich danych - reiserfs. pracuje on wiele wydajniej dla plikow o niewielkiej wielkosci, co bedzie tez mialo znaczacy wplyw na proces kopiowania

pomijajac fakt ze reiser wcale nie jest taki duzo lepszy od ext3 (a czesto gorszy)... nie ma mozliwosci zeby jakikolwiek FS z tysiacami plikow i katalogow byl szybszy od liniowego odczytu/zapisu danych

Oczywiście że jest - wystarczy iż są różnice w free space i used space sprawa rozwiązana.
Link do wypowiedziLink
Sylwester M.

Sylwester M. --

Temat: Kopiowanie dysków dd - ddłuuuuugo :)

Michal O.:
co do wydajnosci dd vs. cp wydaje mi sie ze jednak cp bedzie szybsze, wiekszosc softu do kopiowania uzywa go na pierwszym miejscu, dopiero pozniej dd ale kiedys sprawdze jak to jest przy roznej zajetosci partycji

jeszcze jest cos takiego jak http://www.cons.org/cracauer/cstream.htmlMichal Oczak edytował(a) ten post dnia 21.08.07 o godzinie 01:49


a moze rsync-em ? albo jak juz 'bajtowo' to 'partimage' ? jest inteligentniejsze niz dd. ew mbr dd-em

pzd
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Automatyczne kopiowanie zaw...




Wyślij zaproszenie do
Anuluj