GoldenLine
Zaloguj się

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Witam,

Popełniłem małą serwerownię. Moc serwerów do 160kW. 26 szaf. Chłodzenie rzędowe. Całość na APC Infrastrukture. UPS modułowy. Agregat prądotwórczy. Monitoring APC. Gaszenie gazem. Podłoga podniesiona.
Chętnie odpowiem na pytania.

Pozdarwiam

JG
Link do wypowiedziLink
Tomasz Ziembiewicz

Tomasz Ziembiewicz SAN/NAS/Network
Administrator

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Brakuje mi agregatów wody lodowej do RC-ków ;-)
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Zastosowałem agregat ACM Kalte Klima z freecoolingiem SCAE181FC P2:

http://www.acmonline.it/files/CatalogoSCAEYFCDE98rev09...

Na razie ok (pracuje około 3 miesięcy), zarówno ze sprężarką jak i freecoolingiem. Bardzo cichy. prosty panel operatora do zadawania parametrów. Jawna dokumentacja do Modbusa (RS485).

Do mniejszych instalacji to moze być ciekawe (ACP-FC):

http://www.mas-sp.pl/index.php?option=com_content&task...

Pozdrawiam

JG
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Panie Jakubie
Proste pytanie:
Czy ma Pan na to klientów ??!
pozdrawiam
Zbm
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Mam:) klientem jest mój pracodawca.
Oczywiście można był na pewno zbudować taniej idąc na pewne kompromisy. Czasami kosztem niezawodności.
Na pewno chłodzenie wodą jest tanie (freecooling). Dla północy Polski przez 9 miesięcy w roku nie używam do chłodzenia sprężarki, a prąd nie jest tani i nie będzie tańszy.
Oglądałem (przed rozpoczeciem mojej inwestycji) kilka serwerowni w Polsce i Nimczech. Chłodzenie z powietrzem wydmuchiwanym pod podłogą w większości przypadków było nieskuteczne - zwłaszcza jak w szafie pojawiał się blade - wtedy dorabiano jakieś daszki, kierownice powietrza itp.
Było też kilka ograniczeń samego miejsca, które miałem do dyspozycji.
Pozdrawiam
J.
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Witam,

Jaki środek został wybrany do gaszenia? FM200, Inergen lub może coś innego. Jeśli można wiedzieć to jaki aspekt techniczny przemówił za wybraniem konkretnego rozwiązania?

Słyszałem, że jak już raz wybierze się APC to trzeba przy tym trwać bo np. wymiary szaf są dość specyficzne i nic innego nie będzie pasować. Czy to faktycznie prawda?

Z góry dziękuję za informacje i pozdrawiam.
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

FM 200. Mielismy już go wcześniej w innych serwerowniach.

Trudno połączyć szafy APC z innymi. Pewnie innych producentów tez to dotyczy.
Szafy APC (ale też listwy i UPSy) znałem juz wcześniej. Wg mnie są dobrej jakosci i przemyslane. Ale oczywiście uniwersalne. Większość urządzeń pasuje bez problemu.

Pozdrawiam

J.
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

jakie modele serwerów i kto dostarczył ?
Link do wypowiedziLink
Bartłomiej Kacprzak

Bartłomiej Kacprzak pɹɐzıʍ ʇı

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

To może jakieś fotki/wideorelacja, albo chociaż voucher na wycieczkę po DC :P

A trochę poważniej - jak czasowo wyglądała cała ta operacja, od pierwszego planu do wjazdu ostatniego racka na swoje miejsce i w międzyczasie co ile czasu pochłonęło (przygotowanie okablowania, podnoszenie podłogi, samo planowanie)
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Serwery przeważnie HP. W Większości przenoszone (łącznie z BLADE'em). No nowego DC trafił sprzęt z likwidowanych serwerowni.
Nie udało się przenieść rozwiązań SUNa. Mechaniczny sposób montażu jest na tele unikalny, że trzeba by strasznie kombinować.

Jeżeli chodzi o czas.
Strasznie długo trwało wydanie pozwolenia na budowę. A było ono konieczne, ponieważ agregat prądotwórczy i agregat wody lodowej stoją na płytach fundamentowych, a więc pozwolenie na budowę jest niezbędne. Można agregaty postawić na czymś nietrwale związanym z gruntem (np kostka brukowa, przyczepa), ale wtedy (przynajmniej w pomorskim) agregat trafia na listę wojewody do wykorzystania w sytuacjach kryzysowych (czyli wojewoda ma prawo zabrać Twój agregat, bo np. jest potrzebny w czasie powodzi). Oczywiście to pewnie teoria, ale pracuję w dużej firmie i wszelkie procedury są przestrzgane.

Reasumując - w połowie października 2009 miałem prawomocne pozwolenie na budowę.

Budowa ścian, tynkowanie (a właściwie położenie gładzi szpachlowej, ponieważ materiałem konstrukcyjnym jest b. gładka i równa silka), wykonanie wylewek samopoziomujących, przesunięcie istniejących rurociągów znad przyszłej serwerowni, obudowa p.poż. istniejących kanałów wentylacyjnych budynku - około 2 miesiące.

Wykonanie podłogi technicznej - kilka dni. (powierchnia około 170 m2).

Wykonanie instalacji elektrycznej z dostawę agregatu - około 10 tygodni.

Wykonanie instalacji wody lodowej i wentylacji bytowej, z dostawą agregatu - około 8 tygodni.

Montaż osprzetu APC (szafy, chłodziarki, listwy, UPSy) - 3 tygodnie.

Sieć lokalna LAN (miedź i FO) - około 3 tygodni.

Gaszenie gazem i system p.poż. - około 6 tygodni.

Inne instalacje (kontrola dostępu, alarmowy, powiadamianie) - 4 tygodnie.

Tak więc cała budowa trwała około 10 miesięcy (łącznie z czasem od zgłoszenia zakończenia prac w nadzorze budowlanym do czasu uprawomocnienia), przy czym nie było generalnego wykonawcy.

Oczywiście sporo prac mozna prowadzić równolegle, niemniej jednak czas płynie.

Projekt serwerowni powstawał w czasie około 4 mieisęcy, w trzech etapach:
1. Koncepcja.
2. Po zatwierdzeniu koncepcji - projekt budowlany (do złożenia z wnioskiem o pozwolenie na budowę).
3. Projekty wykonawcze branżowe: konstrukcja, elektryka, wentylacja, chłodzenie, Lan, KD i SSWiN, gaszenie i p.poż.

Dobry projekt umozliwia zebranie porównywalnych ofert na wykonanie poszczególnych branż - po prostu rzeczywiście dają się porównać, bo są składane (oferty) na podstawie projektów wykonawczych.

Oczywiście z punktu widzenia polskiego prawa projekty wykonawcze nie są potrzebne - wystarczy projekt budowalny. Jednak polecam.

Z ciekawostek:
1. Nie mam zadnych instalacji pod podłogą. Tylko rury z wodą (glikolem).
2. Mam możliwość chłodzenia freecoolingiem jak jest na dworze chłodno ( w tej chwili wystarcza mi woda lodowa o temp. 13 st. C), a więc poniżej 9 st C nie muszę wspomagać się sporężarką, jak jest ciepło biorę chłód z budynku, a dopiero w skrajnym przypadku chłodzę sprężarką).
3. Mam licznik zużytej energii - 'rozliczam' się z firmą za rzeczywiście zuzyty prąd.
4. W każdej szafie mam 2 panele miedziane (48 portów),a w co trzeciej panel światłowodowy. Dodatkowo poza szafami serwerowymi stoi dodatkowy rack na przełączniki. tak więc nie tracę dobrze chłodoznego miejcsa na switche i bardzo elestycznie mogę krosować serwery.

Co do zdjęć - zobaczę co się da zrobić. Musze mieć zgodę szefostwa.

Pozdarwiam

JGJakub Gomuła edytował(a) ten post dnia 08.11.10 o godzinie 09:48
Link do wypowiedziLink
Bartłomiej Kacprzak

Bartłomiej Kacprzak pɹɐzıʍ ʇı

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Jak stoimy z fotkami? :)

Odnośnie dalszych pytań - sorki za długą nieobecność, ale dużo na głowie i mało czasu. To tak na szybciorka: może jakieś dane statystyczne, ile metrów kabla sieciowego zostało użyte, albo jakieś inne ciekawostki. Jak na coś poważniejszego wpadnę to jeszcze dopiszę.
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Panie Jakubie
Proste pytanie nr 2 i 3:
Co w tej serwerowni poza sprzętem używanym ma jeszcze stać bo może taniej by było kupić nowe serwery w rackach chłodzonych albo po prostu mainframe z196 ?
I czy to opakowanie nie jest droższe od zawartości ?
pozdrawiam
Zbm
Link do wypowiedziLink
Tomasz Zieliński

Tomasz Zieliński Ignorant IT

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Przy takim rozwiązaniu ile mocy cieplej możecie odebrać z pojedynczej szafy?
Pzdr
TZL
Link do wypowiedziLink
Wojciech Nurkowski

Wojciech Nurkowski Specjalista....

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Jakub Gomuła:
Mam:) klientem jest mój pracodawca.
Oczywiście można był na pewno zbudować taniej idąc na pewne kompromisy. Czasami kosztem niezawodności.
Na pewno chłodzenie wodą jest tanie (freecooling). Dla północy Polski przez 9 miesięcy w roku nie używam do chłodzenia sprężarki, a prąd nie jest tani i nie będzie tańszy.
Oglądałem (przed rozpoczeciem mojej inwestycji) kilka serwerowni w Polsce i Nimczech. Chłodzenie z powietrzem wydmuchiwanym pod podłogą w większości przypadków było nieskuteczne - zwłaszcza jak w szafie pojawiał się blade - wtedy dorabiano jakieś daszki, kierownice powietrza itp.
Było też kilka ograniczeń samego miejsca, które miałem do dyspozycji.
Pozdrawiam
J.

Proponuję zapoznać się z rozwiązaniem firmy Dell na chłodzenie szaf z urządzeniami kasetowymi (blade i nie tylko)
Szczegóły mogę przedstawić w przyszłym tygodniu, gdyż materiały mam na innym kompie do którego w tej chwili nie mam dostepu.
Wydajność jest niezła, oszczędność prądu około 40% w stosunku do standarowego freecoolingu
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Witam po dłuzszej przerwie i spróbuję odpowiedzieć na pytania:)

1. Max moc w szafie. Teoretycznie do 30kW/szafę. W praktyce - nie wiem:) Ale chyba ważniejsze jest, że wszystkie 12 chłodziarek rzędowych pracuje w grupie. Jeżeli jedna wypada (np. awaria) inne zwiększają intensywność chłodzenia (mozna to nawet zasymulować - właczyć któreś urządzenie w stan Idle). Z moich doswiadczeń wynika, że najbardziej kłopotliwe jest nie odprowadzenie ciepła gdy wszystko działa, ale poradzenie sobie w sytuacji, gdy pojawia się problem z chłodzeniem. Więc pewnie nigdy nie włożę 30 kW do jednej szafy. Jeżeli ktoś potrzbuje ekstremalnych i kompaktowych rozwiazań - APC, Emmerson, Rittal i pewnie jeszcze ktoś, produkują takie zamkniete chłodziarko-szafy o mocy chyba nawet do 60KW. U mnie na razie nie ma problemu z miejscem.

2. Opakowanie droższe od zawartości? Wyczuwam delikatny sarkazm:) i powtarzam - OCZYWIŚCIE APC nie jest najtańsze i OCZYWISCIE mozna to zrobić taniej (jak wszystko zresztą). Załóżmy, że moja serwerownia kosztowała 2 mln zł. Mam 26 szaf po 42U - razem około 1000U, czyli około 2 tys. PLN/U. Czy drogo? Wg mnie nie. Każdy producent serwerów da rabat w wysokosci 2 tys PLN/U. Firma w której pracuję ma 2 mld zł przychodu przez 200 dni pracujących w roku. A więc dziennie sprzedaje za 10 mln zł. I nie sprzeda nic, jeżeli nie bedzie IT. Więc wg mnie opakowanie nie jest drozsze od zawartości i kosztuje tyle, żeby zapewnić bezawaryjną pracę.

3. Ilość kabla. Miedzi - 6400 mb. FO - znacznie mniej, ale nie chcę kłamać. Kable miedziane z roli w splocie 6 (albo 4) skrętek kat. 5e razem (patent Molexa chyba do jakichś wieżowców w Dubaju), kable FO kupowane na wymiar z zapasem umożliwiającym przeniesienie panelu swiatłowodowego do sąsiedniej szafy.

4. Na zdjęcia nie mam niestety zgody (jeszcze:).

5. Nie bardzo rozumiem 40% oszczędności na freecoolingu w systemie Dell'a. Na czym to polega? A może chodzi o sprężarki z modulowaną mocą? Freecooling wykorzystuje chłodzenie cieczy z uzyciem powietrza zewnętrznego. A więc energia zuzywana to moc pompy tłoczącej glikol i ewentualnie wentylatorów. Zresztą cały proces odbywa się w wytwornicy wody lodowej, z reguły innego producenta niż szaf.

Czy dzisiaj zbudowałbym inaczej? Nie!

Pozdrawiam
JG
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Jaka wg Was powinna być prawidłowa wysokość pomieszczenia DC, albo odległość od góry szafy rack do sufitu przy:
1. Chłodzeniu pomieszczenia bez zamkniętych stref zimnego powietrza, z klimatyzacją precyzyjną realizującą nawiew z podłogi podniesionej ?
2. Chłodzeniu j/w ale wspomaganym jednostkami umieszczonymi nad szafami rack typu Liebert XDO/XDV ?
Link do wypowiedziLink

konto usunięte

Temat: Wybudowałem Data Center na APC Infrastructure - chętnie...

Rafał Banaś:
Jaka wg Was powinna być prawidłowa wysokość pomieszczenia DC, albo odległość od góry szafy rack do sufitu przy:
1. Chłodzeniu pomieszczenia bez zamkniętych stref zimnego powietrza, z klimatyzacją precyzyjną realizującą nawiew z podłogi podniesionej ?
2. Chłodzeniu j/w ale wspomaganym jednostkami umieszczonymi nad szafami rack typu Liebert XDO/XDV ?

Witam,

Polecam zerknąć do normy TIA-942 lub opracowań bazujących na tej normie.

Generalnie wysokość między podłogą na której znajdują się szafy a pierwszą przeszkodą (np. coś podwieszonego pod sufitem) powinna wynosić min. 2.6m. Przy chłodzeniu spod podłogi należy uwzględnić jej wysokość, która zależy w tym wypadku od ilości powietrza jakie będzie trzeba doprowadzać i tego co pod tą podłogą będzie się dodatkowo znajdować ale załóżmy że to jakieś 0.6m dodatkowo. Spotkałem się też z zaleceniami, że przy takim systemie klimatyzacji najlepiej nad szafami rackowymi mieć 0.9m wolnej przestrzeni. Szafa 42U ma ok. 2m wysokości, czyli reasumując mamy 0.6m+2.6m+ewentualne 0.3m (tak aby uzyskać 0.9m wolnej przestrzeni nad szafami ale to zależy od systemu klimatyzacji) = 3.5m minimum wysokość pomieszczenia do sufitu.

Pozdrawiam.
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy





Wyślij zaproszenie do
Anuluj