Bolesław T.

Bolesław T. Administrator Linux

Temat: Cisco 1812 i failover

Potrzebuję opinii ekspertów.

Mam 2 łącza internetowe (na razie) od jednego dostawcy oraz router 1812.

Aby śledzić, czy łącze działa, wybrałem sobie jeden z serwerów ISP, po trasie którego idą pakiety i zgodnie z tym ustawiłem sobie tracking:

track 102 rtr 2 reachability
delay down 20 up 20
!
track 103 rtr 3 reachability
delay down 20 up 20

ip sla 2
icmp-echo [serwer 1 ISP] source-interface FastEthernet0
timeout 1000
threshold 2
frequency 3
ip sla schedule 2 life forever start-time now
ip sla 3
icmp-echo [serwer 2 ISP] source-interface FastEthernet1
timeout 1000
threshold 2
frequency 3
ip sla schedule 3 life forever start-time now

Tabelę routingu zaadoptowałem do trackingu:
ip route 0.0.0.0 0.0.0.0 [gw Fa0] 2 track 102
ip route 0.0.0.0 0.0.0.0 [gw Fa1] 3 track 103
! trasa domyślna jakby oba łącza siadły:
ip route 0.0.0.0 0.0.0.0 78.8.151.225 10
! zapewnienie, że pakiety będą szły odpowiednim łączem
ip route [serwer 1 ISP] 255.255.255.255 [gw Fa0] permanent
ip route [serwer 2 ISP] 255.255.255.255 [gw Fa1] permanent

Na początku chciałem, żeby router sam sobie robił load-balancing między tymi łączami (nawet znalazłem przykłady jak to ma być ustawione), ale to nie działało dokładnie jak zamierzałem, więc sobie darowałem. Za to część ruchu puściłem przez drugie łącze używając route-map:

interface Vlan1
ip policy route-map przez-drugie-lacze

route-map przez-drugie-lacze permit 10
match ip address 131
set ip next-hop verify-availability [gw Fa1] 2 track 103
set ip next-hop verify-availability [gw Fa0] 3 track 102

Dzięki temu, gdy siadało któreś z łącz, cały ruch przechodził na pozostałe - i to nie tylko ruch domyślny, ale z route-map również.

Oczywiście, na routerze jest NAT:
ip nat inside source route-map internet-dsl interface FastEthernet0 overload
ip nat inside source route-map internet-sym interface FastEthernet1 overload

route-map internet-dsl permit 10
match ip address 111
match interface FastEthernet0
!
route-map internet-sym permit 10
match ip address 111
match interface FastEthernet1

Proszę o uwagi - może coś można zrobić lepiej. Całej konfiguracji nie zamieszczam ze względów bezpieczeństwa oraz czytelności.

Co się dzieje niedobrego to od czasu do czasu wysiada to na tyle, że się skarżą, że nic nie działa, albo że ciągle przerywa. Jedną taką usterkę namierzyłem:
May 11 05:46:38 %TRACKING-5-STATE: 102 rtr 2 reachability Up->Down
May 11 05:49:58 %TRACKING-5-STATE: 102 rtr 2 reachability Down->Up
May 11 05:52:38 %TRACKING-5-STATE: 102 rtr 2 reachability Up->Down
May 11 05:57:43 %TRACKING-5-STATE: 102 rtr 2 reachability Down->Up
May 11 06:00:38 %TRACKING-5-STATE: 102 rtr 2 reachability Up->Down
May 11 06:05:42 %TRACKING-5-STATE: 102 rtr 2 reachability Down->Up
Tak przez cały dzień. 5 minut chodzi, a 5 minut nie. Zgodnie z konfiguracją 20s po zauważeniu awarii następuje przełączenie. W tym momencie wszystkie połączenie internetowe wysadza. Po 4m40s łącze wraca, a po kolejnych 20s ruch jest przywracany na stare łącze (znowu połączenia aktywne wysiadają).

Pomyślałem, że przestawię czas powrotu łącza na ponad 5 minut. Niestety w konfiguracji:
track 102 rtr 2 reachability
delay down 20 up 180
180s jest maksymalną wartością. Czytaj: 3 minuty. Nie jestem w stanie się ustrzec przed taką awarią.

Zastanawiałem się, czy nie zrobić na odwrót - przestawić czas reakcji na minimum - może po 1s to nie będzie zrywać sesji, jeśli nagle adres źródłowy komputera się przestawi na inny?

Ostatnio było kilka burz i przypuszczam, że w związku z tym ISP mają problemy z łączem, bo mam dużo skarg o połączenie. Nie jestem jednak tego pewien. Wygląda na to, że router wskazuje, że łącze działa, gdy w rzeczywistości tak nie jest. Czy jest jakiś lepszy sposób na zabezpieczenie się/wykrycie awarii?

Trzecia sprawa: Nie działa mi CEF na ruch do internetu. Czy to jest normalne, bo spowodowane przez NAT, który wymusza softwareowy routing?

Z góry dziękuję kolegom za pomoc. Wiem, że w kwestii Cisco jeszcze przyjdzie mi się uczyć, zwłaszcza od mądrzejszych.
Jarosław Postawa

Jarosław Postawa Właściciel,
Dorvin.Net

Temat: Cisco 1812 i failover

Stawiałbym na to, że router operatora uważa, że go floodujesz i Cię obcina. Jeśli już koniecznie chcesz robić w ten sposób, zwiększ znacząco czasy pomiędzy kolejnymi próbami w sla. Dodatkowo we współczesnych sieciach jakiekolwiek testy po ICMP są dość ryzykowne. Nigdy nie wiesz, kto i gdzie zacznie to filtrować. Znacznie lepszym rozwiązaniem byłoby UDP-Echo, ale do tego trzeba skonfigurować responder. Pogadaj z operatorem, czy by Ci tego nie wystawił gdzieś u siebie.
Bolesław T.

Bolesław T. Administrator Linux

Temat: Cisco 1812 i failover

Jarosław Postawa:
Stawiałbym na to, że router operatora uważa, że go floodujesz i Cię obcina. Jeśli już koniecznie chcesz robić w ten sposób, zwiększ znacząco czasy pomiędzy kolejnymi próbami w sla.

No chwila, teraz jest frequency 3, czyli ping co 3 sekundy. To chyba nie jest flood! Czy coś innego źle ustawiłem?
Dodatkowo we współczesnych sieciach jakiekolwiek testy po ICMP są dość ryzykowne. Nigdy nie wiesz, kto i gdzie zacznie to filtrować. Znacznie lepszym rozwiązaniem byłoby UDP-Echo, ale do tego trzeba skonfigurować responder. Pogadaj z operatorem, czy by Ci tego nie wystawił gdzieś u siebie.

UDP-responder? Oj, nie wiem, czy warto toczyć boje z Dialogiem, aby takie coś gdzieś u siebie wystawili. To nie jest mały ISP, gdzie mogę się dogadać z adminem.
Jarosław Postawa

Jarosław Postawa Właściciel,
Dorvin.Net

Temat: Cisco 1812 i failover

Bolesław Tokarski:
No chwila, teraz jest frequency 3, czyli ping co 3 sekundy. To chyba nie jest flood! Czy coś innego źle ustawiłem?
Co jest floodem, a co nie, decyduje administrator. Jak będzie miał ochotę, to ustawi takie limity, że załapiesz się wysyłając ICMP co godzinę lub jeszcze rzadziej. Powodem moich podejrzeń jest regularność zachowania, a nie ilość pakietów na sekundę.
UDP-responder? Oj, nie wiem, czy warto toczyć boje z Dialogiem, aby takie coś gdzieś u siebie wystawili. To nie jest mały ISP, gdzie mogę się dogadać z adminem.
Hmm.. To zmienia postać rzeczy. Możesz jeszcze próbować pingować np. ich DNS
Bolesław T.

Bolesław T. Administrator Linux

Temat: Cisco 1812 i failover

Może wyraziłem się nieprecyzyjnie. Te 5-minutowe przerwy były rzeczywistymi awariami w sieci. I występowały przez cały dzień, gdy był problem. Poza tym dniem raz jeszcze takie coś się zdarzyło rano, raz po południu. Nie ma regularności w tej kwestii.

Podobno są jeszcze jakieś "inne problemy", tylko, że trudno mi powiedzieć jakie, bo ludzie sami dokładnie nie wiedzą.

Może skonkretyzuję pytania:
1. W jaki sposób zabezpieczyć się przed taką awarią w sieci 5min/5min?
2. Czy w konfiguracji przedstawionej jest jakiś błąd, którego nie widzę?
3. Czy ktoś robił już takie próby 2 łącz internetowych i zrobił to lepiej/inaczej?
4. Czy to jest normalne, że przy NAT i/lub trackingu wyłącza się CEF na serii 18xx?
Jarosław Postawa

Jarosław Postawa Właściciel,
Dorvin.Net

Temat: Cisco 1812 i failover

Bolesław Tokarski:
Może skonkretyzuję pytania:
1. W jaki sposób zabezpieczyć się przed taką awarią w sieci 5min/5min?
Ja bym to robił właśnie przez load-balancing, a dokładniej mówiąc przez dwa default-route z trackiem. Pisałeś jednak, że to Cię nie urządza. Mógłbyś podać, dlaczego? Wtedy może będzie łatwiej dopasować rozwiązanie.
2. Czy w konfiguracji przedstawionej jest jakiś błąd, którego nie widzę?
Wygląda ok.
3. Czy ktoś robił już takie próby 2 łącz internetowych i zrobił to lepiej/inaczej?
Typowym rozwiązaniem w takiej sytuacji jest podłączenie łącz do dwóch operatorów i uruchomienie BGP. Jeśli łącza są do jednego operatora, to można poprosić o zastosowanie jakiegokolwiek protokołu routingu. Niestety pewnie trzeba będzie dopłacić.
4. Czy to jest normalne, że przy NAT i/lub trackingu wyłącza się CEF na serii 18xx?
Nie spotkałem się z taką sytuacją. To dość mało prawdopodobne, żeby tak ważny mechanizm routerów Cisco nie radził sobie z tak popularnym rozwiązaniem, jak NAT. Może bug w sofcie?
Andrzej M.

Andrzej M. Inżynier Sieciowy,
CCIE (RS, SP) #38598

Temat: Cisco 1812 i failover

Bolesław Tokarski:
3. Czy ktoś robił już takie próby 2 łącz internetowych i zrobił to lepiej/inaczej?

Np OSPF na obu łączach do ISP.
ISP ogłasza Ci tylko 0.0.0.0.
Gdy któreś łącze padnie (fizyczne lub VLAN) - nie przejdą hello, padnie sesja i routing się przełączy.

BTW:
! trasa domyślna jakby oba łącza siadły:
ip route 0.0.0.0 0.0.0.0 78.8.151.225 10

Coś mi ten zakres adresacji mówi ;-)Andrzej Mieczkowski edytował(a) ten post dnia 01.07.09 o godzinie 23:13

konto usunięte

Temat: Cisco 1812 i failover

Andrzej Mieczkowski:
Bolesław Tokarski:
3. Czy ktoś robił już takie próby 2 łącz internetowych i zrobił to lepiej/inaczej?
Np OSPF na obu łączach do ISP.
ISP ogłasza Ci tylko 0.0.0.0.

Hmm, zgaduję, że większość ISP będzie niechętna niestandardowej usłudze i nie za bardzo pójdą na ospf.
Andrzej M.

Andrzej M. Inżynier Sieciowy,
CCIE (RS, SP) #38598

Temat: Cisco 1812 i failover

Grzegorz Janoszka:
Hmm, zgaduję, że większość ISP będzie niechętna niestandardowej usłudze i nie za bardzo pójdą na ospf.

Wszystko zależy od dogadania się z opiekunem handlowym i ustalenie odpowiedniej ceny za niestandardową usługę ;-)
Bolesław T.

Bolesław T. Administrator Linux

Temat: Cisco 1812 i failover

Firma planuje niedługo wziąć łącze od drugiego operatora. Za często się zdarzało, że oba wysiadły.

BGP... muszę się zorientować, ile to kosztuje. Firma nie jest duża, a wydatek kilkuset złotych na 2mbit symetryczne łącze to już jest dużo.
Andrzej Mieczkowski:

Coś mi ten zakres adresacji mówi ;-)

Heh, a tak starałem się powywalać adresy IP z tego configu.

A co do CEFu, to czy ktoś może mi wskazać jakieś materiały a propos weryfikacji tego? CCNA już niestety nie uwzględnia takich kwestii...
Jarosław Postawa

Jarosław Postawa Właściciel,
Dorvin.Net

Andrzej M.

Andrzej M. Inżynier Sieciowy,
CCIE (RS, SP) #38598

Temat: Cisco 1812 i failover

Bolesław Tokarski:
Firma planuje niedługo wziąć łącze od drugiego operatora. Za często się zdarzało, że oba wysiadły.

Zapewne to ten sam obiekt.

W przypadku redundancji najlepiej wziąć łącze w 2 różnych technologiach - np jeden Eth (to idzie po jakiś przełącznikach operatora), a drugi jako np E1 (będzie szło SDH).

Obie technologie są od siebie niezależne, więc na pewno nie będzie padu w tym samym czasie.

Ale wiadomo, że niestety symetryki są drogie.
BGP... muszę się zorientować, ile to kosztuje. Firma nie jest duża, a wydatek kilkuset złotych na 2mbit symetryczne łącze to już jest dużo.

U nas w cenniku BGP to +12% do normalnej opłaty z tego co widzę, ale najlepiej porozmawiać z Waszym opiekunem - może coś taniej załatwi.

Przy BGP do 2 operatorów, będziesz już musiał mieć swój ASN oraz jakąś adresację. Nie musi być koniecznie PI.

Oczywiście trzeba w RIPE uzasadnić, czemu chce się mieć adresację i jak dużą. Niestety część upstreamów nie przyjmuje dłużnych prefixów niż /24 (w przypadku PA nie ma to wielkiego znaczenia). Ale jest to w sumie najlepsza opcja, aby sobie rozlać ruch na oba łącza i nim trochę posterować.

Jeśli chcesz mieć BGP tylko na swoim głównym łączu do sprawdzenia, czy ono żyje (padnie sesja, to routing się przełączy na drugie), to równie dobrze można sobie zażyczyć zestawienie sesji na prywatnym ASN, a ISP ogłosi Ci tylko 0.0.0.0 oraz dodać backup z wyższą metryką. Oczywiście wtedy trzeba znów zrobić NAT.Andrzej Mieczkowski edytował(a) ten post dnia 02.07.09 o godzinie 23:11
Bolesław T.

Bolesław T. Administrator Linux

Temat: Cisco 1812 i failover

Rozwiązał mi się problem dziwnych błedów z oboma łączami. Okazało się, że po ostatnich burzach główny switch w budynku przy większym ruchu odmawiał posłuszeństwa. A ponieważ ludzie głównie pracowali przez Internet, to ich pierwszą diagnozą było, że są problemy z Internetem. A gdy ja przyjeżdżałem, to problem już "minął", bo i ruch sieciowy zmalał.

Swoją drogą, jeśli chodzi o nadmiarowe łącza od jednego dostawcy, to nie polecam. Dzisiaj znowu zrobili kawał i na obu łączach nie chodzi. Przynajmniej się przyznają do błędu.

@Jarosław - dzięki za pomoc
@Andrzej - w kwestii BGP widzę, że to raczej duża sprawa. Najpierw sprawdzę jak się mają 2 łącza od innych dostawców.
Marek Dabrowski

Marek Dabrowski Senior Network
Engineer

Temat: Cisco 1812 i failover

A czy uzycie HSRP nie bylo by lepszym rozwiazaniem?

http://www.cisco.com/en/US/tech/tk365/technologies_con...Marek Dabrowski edytował(a) ten post dnia 30.07.09 o godzinie 04:20

konto usunięte

Temat: Cisco 1812 i failover

Marek Dabrowski:
A czy uzycie HSRP nie bylo by lepszym rozwiazaniem?

http://www.cisco.com/en/US/tech/tk365/technologies_con...

A gdzie w tym IPv6, że tak zapytam? Chciałem pobawić się HSRP dla v6, a tu okazuje się, że dupa - tylko adresy link-local.
Zastanawiam się, jak w ogóle zrobić gateway redundancy dla klientów :/
Marek Dabrowski

Marek Dabrowski Senior Network
Engineer

Temat: Cisco 1812 i failover

Mowisz i masz ...

http://www.cisco.com/en/US/docs/ios/ipv6/configuration...

Powodzenia ...

konto usunięte

Temat: Cisco 1812 i failover

Marek Dabrowski:
Mowisz i masz ...

http://www.cisco.com/en/US/docs/ios/ipv6/configuration...

Powodzenia ...

No i? Co tu jest napisane, czego nie wiem? Stoi jak wół, że używa adresów link-local. A ja chcę po prostu na normalnych statycznych adresach v6 i o to pytałem.
Marek Dabrowski

Marek Dabrowski Senior Network
Engineer

Temat: Cisco 1812 i failover

Spokojnie ... chcialem pomoc ...

Nie wiem dokladnie o co ci chodzi z tymi link-local ... mozesz zrobic track itp ...

Marek
Grzegorz Janoszka:
Marek Dabrowski:
Mowisz i masz ...

http://www.cisco.com/en/US/docs/ios/ipv6/configuration...

Powodzenia ...

No i? Co tu jest napisane, czego nie wiem? Stoi jak wół, że używa adresów link-local. A ja chcę po prostu na normalnych statycznych adresach v6 i o to pytałem.Marek Dabrowski edytował(a) ten post dnia 31.07.09 o godzinie 01:18

konto usunięte

Temat: Cisco 1812 i failover

Grzegorz Janoszka:
A gdzie w tym IPv6, że tak zapytam? Chciałem pobawić się HSRP dla v6, a tu okazuje się, że dupa - tylko adresy link-local.
Zastanawiam się, jak w ogóle zrobić gateway redundancy dla klientów :/

Ten protokol ma juz kilka(nascie) lat. GLBP moze da rade?

Wieslaw

konto usunięte

Temat: Cisco 1812 i failover

Wieslaw L.:
Ten protokol ma juz kilka(nascie) lat. GLBP moze da rade?

Eeee... Cisco only, odpada. Nie lubię religijnych protokołów. A poza tym na 99% też się nie da :)

Następna dyskusja:

Cisco 1812 sam sie ponownie...




Wyślij zaproszenie do