Temat: Serwery do obróbki dużych ilości danych

Witajcie,

Buduję system polegający na gromadzeniu i przetwarzaniu dużej ilości danych video. System ma być skalowalny więc chcę obliczyć koszt dla systemów obsługujących różne ilości użytkowników a co za tym idzie proporcjonalnie szerokości łącza w dół jak i mocy obliczeniowej.

Mówimy o skali od 1Gb/s do 100Gb/s transferów w dół oraz obliczeń na poziomie od jednej maszyny powiedzmy sześcio rdzeniowej do dziesiątek takich maszyn. Spore musiałyby być też przestrzenie storage no i też skalowalne odpowiednio.

Poszukuję optymalnego kosztowo dostawcy serwerów do tego typu celu. Położenie geograficzne nie ma tu dużego znaczenia przy czym znaczenie ma czas odpowiedzi serwera jeśli byśmy mówili o opóźnieniach w powyżej 200ms.

Na jakich dostawców sugerowalibyście zwrócić uwagę?

Temat: Serwery do obróbki dużych ilości danych

Nie doprecyzowałem, że chodzi o dzierżawę, nie zakup serwerów.

Jakie sugestie? Czy Niemcy to najlepsze rozwiązanie czy uda mi się znaleźć coś tańszego w bardziej "egzotycznych" krajach?

Temat: Serwery do obróbki dużych ilości danych

Cześć,

Paru ważnych info brakuje, od kwestii jakości (i SLA) po dokładną skalę skalowalności (masło maślane heh). Skala od 1 do 100 to niewiele info. W jakim okresie czasu? Z tygodnia na tydzień, miesiąca na miesiąc? "Gorące dni / tygodnie / miesiące"? Bo wiesz, skalowanie w obrębie doby a w obrębie miesiąca, gdzie np. możesz po prostu chcieć mieć infrastrukturę pod jakieś akcje promocyjne (że leci TV + radio + usługa online). Pytanie przez ile czasu będzie to "ssane" tak na maksa.

Na pewno Zachód będzie tańszy pod względem transferu. Minusem będzie utrudniony kontakt (mimo wszystko) i upierdliwość np. niemieckich serwerowni. Wiadomo, że w Polsce raczej bedzie drożej, ale też wydaje się, że lepiej, bo kontakt lepszy, sprzętowo masz np. takie IQ PL http://www.iq.pl z ich centrum danych "bez kompromisów". O np. OVH już tego nie powiesz, bo to jednak mocno budżetówka.

Ciężko wyczuć, bo jeszcze do końca nie wiem na co chciałbyś położyć nacisk, jak mocno budżetowo chcesz pojechać. Egzotyczne kraje na razie bym sobie darował. Jest UK, jest Holandia, są Niemcy, są Francuzi i masz polskie firmy. W ogóle wydaje mi się, że taki deal będzie bardziej mozolny do dobicia z Niemcami. Chyba, że podnajmiesz firmę administratorską, która weźmie te dedyki w Niemczech i ogarnie dla Ciebie. A właśnie, nic nie wspominasz o rodzaju wsparcia - czy same, puste dedyki ze szczątkowym SLA wystarczą, czy załoga usługodawcy ma monitorować, administrować, cokolwiek?

Temat: Serwery do obróbki dużych ilości danych

Dzięki za konkretne pytania, odpowiadam.

Ogólnie: wszystko jest do rozważenia na zasadzie co zyskuję za jaki koszt. W tym momencie tak naprawdę opracowywany jest model biznesowy by się to wszystko opłacało.

Ale konkretniej:

SLA naturalnie jak najwyższe ;) Mówiąc poważniej to osobiście spodziewam się że przy takiej skali systemu powinien on być zbudowany tak, że działa zawsze, ewentualnie spada wydajność.

Jeśli chodzi o skalowalność to w obecnym modelu wystarczy na poziomie rozszerzania w terminach rzędu miesiące, nie dni. Czyli obserwowanie sprzedaży/ruchu, rozwijanie i zwijanie jako następstwo. Ale oczywiście do rozważenia jest ile kosztowałaby możliwość robienia tego szybciej bo to otwiera drogę do różnego rodzaju akcji promocyjnych. Znając ten koszt można szacować czy w to wchodzić.

Gdy mówimy że zachód będzie tańszy to co to znaczy? O ile tańszy? Ile kosztuje 1Gb/s łącza w Polsce (5k? 3k?) a ile na zachodzie? Tak samo sprzęt, sprawdzałem ofertę dedyków. "Internet" poleca Hetzner ale czy tego typu skala to też taki dostawca czy źle w ogóle szukam?

Tak czy siak wartościowy hint to to że jednak Europa zachodnia.

Jeśli chodzi o administrację to też biorę pod uwagę różne opcje. Zestawienie całego systemu musiałoby być zrobione pod obecny soft. Tu tak naprawdę mam kogoś kto by mógł się tym zająć ale znowu, wszystko jest kwestią kosztów i jeśli ktoś to robi taniej to pewnie.

Dalsze monitorowanie i administrowanie traktuję że już po mojej stronie.

Temat: Serwery do obróbki dużych ilości danych

W takim razie najprościej:
1. wziąć ludzi
2. kupić dedyki
3. pokonfigurować
4. ruszać.

Tylko trochę mało info tutaj dorzuciłeś i ja w sumie nie mam nic ciekawego do dodania, nie podpowiem nic bez specyfikacji przedsięwzięcia. Zaraz... chyba wiesz chociaż pi razy drzwi z czym chcesz wystartować? Właściwie reszta odpowiedzi to zależy od tego, jak wybierzesz.
Koszty opierają się na konkretach... pytanie, czy potrafisz konkretnie wypisać oczekiwania wobec SLA, wobec konkretnych wielkości czy to transferu, czy wielkości mocy obliczeniowej (strzelam: klastra). Nawet koszty łącza mogą być różne w Polsce, bo możesz mieć BGP4, możesz mieć golasa na dwóch nitkach np. do Netii i jakiejś sieciówki lokalnej. Do tego jeszcze styk z tepsą, tfu, orange. Multum, multum możliwości.

Raczej nie pytaj "co można zrobić", tylko zapytaj "chcę to i to, za ile da się to zrobić w Polsce (i gdzie i jakiej jakości serwerownia), a za ile w Niemczech?", bo na razie to wiesz, my możemy sobie pogadać...

Hetzner bym sobie darował. Albo inaczej: miej świadomość, że oni są budżetówką. Niemiecką, niezłą, tanią, ale jednak budżetówką. Ale no nawet patrząc na takiego Hetznera to teraz odpowiedz sobie na pytanie - poruszać się chcesz właśnie na tym pułapie (do tego dokoptujesz ekipę administratorską i będziecie to ogarniać przez telefon z Niemcami, którzy naprawdę bywają upierdliwi), czy jednak jesteś gotów dopłacić do dzierżawy w Polsce. W sumie prawdopodobnie sprzęt w Polsce i tak byłby poza dostępem bezpośrednim, więc może i warto próbować te Niemcy...
Na pewno (na pewno?) masz to przynajmniej wstępnie skalkulowane i już wiesz, czy Niemcy, czy jednak próbować Polskę. Rzuciłeś hasło, że Niemcy, czy tam ogólnie Europa - no to OK. Rozumiem, że wyważyłeś za i przeciw, o których już pisałem.
Z Zachodem to będziesz miał tak, że dopóki nie weźmiesz 10-15 serwerów na raz, to dla nich będziesz po prostu klientem na serwery, a nie klientem na mega fajne wdrożenie, co w Polsce już by bardziej miało miejsce.

Odnoszę wrażenie, że tak do końca, to nie wiesz jakiej skali jest to przedsięwzięcie. Jeśli możesz określić wszystko chociaż w widełkach, to mogę Ci załatwić wycenę w IQ PL.

Wciąż mało info, bardzo mało. Do pogadanki wystarczy, ale chyba nie chcemy tu pogadanki prowadzić, tylko biznes robić?Miłosz Wojaczek edytował(a) ten post dnia 03.04.13 o godzinie 17:12

Temat: Serwery do obróbki dużych ilości danych

OK, odpisuję.

Trzeba by zacząć od momentu "biznesowego" w którym się znajdujemy. To jest etap gdzie uruchamiany jest już żywy system ale na pilotarzu z ograniczoną liczbą użytkowników. To pozwoli też dokładniej zmierzyć obciążenia oraz na tej bazie wyliczyć dokładniej ceny usługi. Zmienną która brakuje do wyliczenia tej ceny są dostawcy, to chcę się dowiedzieć. Rozrost sprzedaży oczywiście jest w pewien sposób regulowalny przez ograniczenie działań marketingowych ale ogólnie przecież chodzi o to by sprzedać jak najwięcej :)
Zatem ten moment to odpalenie usługi u obecnych dostawców serwerów i opracowanie modelu kosztowego po to by móc wejść na rynek z ofertą cenową i zacząć rozrost sprzedaży być może ze zmianą dostawcy serwerów.

Stąd może mglistość.

Tak więc na razie to potrzebuję listy dostawców po "pierwszym filtrze" na bazie Waszych doświadczeń po to by do nich wysyłać zapytania ofertowe już z bardziej konkretnymi pytaniami.

Jeśli chodzi o moje kalkulacje to to jest etap tego co wyczytałem na stronach, absolutny początek, szukam raczej informacji które powiedzmy 10 firm warto w ogóle odpytać bo wiadomo że podołają zadaniu.

Zakładałem początkowo też że łatwa będzie odpowiedź na pytanie "Polska czy zagranica" ale widzę teraz że są za i przeciw obu rozwiązań i nie ma oczywistej odpowiedzi.

Temat: Serwery do obróbki dużych ilości danych

OK, 1/4 podstawowych kwestii wyjaśniona : )
Serio... musisz określić takie rzeczy, jak:

Kwestie techniczne pozwalające wyznaczyć stopień jakby wrażliwości projektu - związane jest to m.in. z SLA. Wiesz, 99,9 procent dostępności jako standard to pewnie "każdy" zapewni. Ale do tego jest pytanie o przepustowości, o kary umowne (które standardowo są śmieszne, a Tobie niekoniecznie muszą odpowiadać) i inne rzeczy. Chodzi o to, aby wyczuć, czy budujesz serwis o powadze bankowości elektronicznej, czy coś o wiele (na ile wiele?) bardziej "luźnego". W takich chwilach nie widzę rozmów z Niemcami... mi się wydaje, że jednak szukasz partnera do wdrożenia, a nie do samej dzierżawy. Chyba, że polska firma dzierżawiąca w Niemczech, potrafiąca zapewnić Ci wsparcie, jakby serwery były "u nich pod okiem".

Czy firma hostująca stawia serwery i nic poza tym? Pewnie szczątkowa administracja się przyda, szczególnie, że wraz ze wzrostem profesjonalności centrum danych możliwości dojścia do dzierżawionego serwera będą spadać.

Dobrze zacząłeś o próbce. Może na zasadzie takiej próbki chciałbyś wysłać zapytania?
Bo to jest tak, że jeśli nie będziesz wiedział czego chcesz, dokładnie nie napiszesz "chcę to i tamto, na takich warunkach" to skończy się tym, że zaczniesz mejlować/dzwonić do każdej firmy z osobna i rozmawiać z nimi tak, jak rozmawiasz tutaj ze mną. A jak ktoś Ci rzuci kwoty bez faktów z Twojej strony, to powiem tak - uważaj na takich ludzi i ich "oferty".

Co do firm, to wiesz... ja np. rzucę takie, które polecam, bo znam, korzystam, itd. Ale to nie znaczy, że nie ma innych. Z drugiej strony jest parę firm - jak ja to nazywam - klasy "pseudo serwerownia w śląskiej piwnicy". Ja jestem bardzo blisko np. IQ PL, o czym już wspominałem. Ba, mogę pogadać nawet z szefem, ale co ja mu powiem tak naprawdę? : ) Widzisz o co chodzi?

Jakaś specyfikacja - cokolwiek, jak to widzisz... i już tak na zasadzie konkretów.
Współpracuj z ludźmi, którzy już robią pilotaż i określcie coś... bo wiesz, nawet spytam Cię o backup i zasady jego wykonywania - czy jesteś mi odpowiedzieć coś na ten temat? A takich punkcików jest masa.

W pewnym momencie pewnie powinniśmy przenieść rozmowę w kuluary, zapraszam na milosz@webastyczny.pl, bo to nie jest miejsce na poważniejszą dyskusję w 4 oczy : )

Temat: Serwery do obróbki dużych ilości danych

OK wielkie podziękowania za profesjonalną odpowiedź. To na pewno pomoże nam zebrać kolejne informacje i tłumaczy jakie są ryzyka.

Temat na pewno jest otwarty jednak musimy jeszcze zebrać "trochę" informacji po naszej stronie by kontynuować.

Temat: Serwery do obróbki dużych ilości danych

Odezwij sie do Tiktalik.com, beda w stanie dac Ci dobra oferte oraz doradzic merytorycznie, to bardzo doswiadczony zespol. (jestem udzialowcem)
pozdrawiam,

K