Trzepak.pl

Regulamin forum


Wypowiedzi muszą stosować się do zasad ogólnie przyjętej "netykiety" wynikającej z dokumentu RFC 1855, zamieszczonego pod tym adresem:
http://www.ietf.org/rfc/rfc1855.txt
Osoby wypowiadające się tu "zawodowo" proszone są o logowanie się swoim imieniem i nazwiskiem, a w stopce ich wypowiedzi wskazane jest przedstawienie danych adresowych łącznie z linkiem do strony głównej przedsiębiorstwa lub organizacji, którą reprezentują.
Umieszczanie informacji reklamowych w wypowiedzi i w stopce nie jest wskazane a moderatorzy mogą ingerować usuwając takie posty w sposób nie podlegający dyskusji.



Nowy temat  Odpowiedz w temacie
Przejdź na stronę Poprzednia 1 2
Autor Wiadomość
Post: czw, 28 gru 2017 12:13:06 
Odpowiedz z cytatem
Offline
Młodszy czytelnik
Młodszy czytelnik

Rejestracja: wt, 19 mar 2013 12:29:37
Posty: 55
baroo pisze:
Powiem szczerze, że ja powoli skłaniam się do zwirtualizowania routerów u siebie, ale nie mogę jeszcze nigdzie znaleźć jakiegoś konkretnego gotowca, że ktoś to podobnie zrobił. Zakładam postawianie na w miarę mocnej maszynce XenServera, przekierowanie przerwań od kart przez SR-IOV i odpalenie Linuxowych VMek dostępowej i BGP (do tego w drugiej lokalizacji redundantna kopia tego samego). Ma ktoś jakieś doświadczenia z taką konfiguracją?

4-5 lat temu robiłem tego typu konfigurację. Serwer fizycznie umożliwiał wpięcie 2 kart po PCIe (wobec czego zostały wpięte 4 portowe każda - 1Gb). Ostatecznie miałem 3 maszyny po 8 portów 1Gb/s. Wszystko zwirtualizowane z wykorzystaniem SR-IOV. Po zabawie z przerwaniami na linuksowych wirtualkach - CPU było wykorzystane poniżej 50%. Wobec czego na serwerach można było jeszcze umieścić inne wirtualki, które korzystały z portów ethernet wbudowanych w serwerach do komunikacji ze światem. Gotowców nie było, trzeba było samemu kombinować. Fakt jest taki, że 3 maszyny obsługiwały mi dosłownie wszystko i były jeszcze luzy. Minus to cena kart z SR-IOV w tamtych czasach. Nie wiem jak teraz.


Na górę
Post: czw, 28 gru 2017 12:26:55 
Odpowiedz z cytatem
Offline
Powieściopisarz
Powieściopisarz

Rejestracja: czw, 25 mar 2010 13:23:23
Posty: 1805
Jak rozkłada się w takiej sytuacji te przerwania z vm na karty? Jak realizuje się wtedy komunikację pomiędzy vmkami?

_________________
www.inet.one.pl
Konfiguracja BGP. Podział pasma (filtry mieszające, IFB). Skrypty bash, perl.


Na górę
Post: ndz, 31 gru 2017 15:42:42 
Odpowiedz z cytatem
Offline
Młodszy czytelnik
Młodszy czytelnik

Rejestracja: wt, 19 mar 2013 12:29:37
Posty: 55
Jeśli chcesz wykorzystać SR-IOV to zakładam, że masz wsparcie ze strony CPU, itd. Wtedy przydzielasz porty z karty sieciowej bezpośrednio do vm'ki. Ja zastosowałem 1 port na 1 VM'ke, ponieważ wtedy mogłem maksymalnie wykorzystać port - oczywiście wykorzystując 802.1q, bo 1 interfejs to trochę słabo :) Nie współdzielisz portu między VM'kami.
Na Vm'kach dodajesz tyle CPU (core) ile jest potrzebne do maksymalnego wykorzystania przydzielonego interfejsu. Oczywiście można dać wszystkim maksymalną ilość, ale ze względów bezpieczeństwa (DDOS, itd) nie polecam. W ten sposób wykorzystujesz maksymalnie port z sieciówki.
Mam nadzieję, że nie zamieszałem :)


Na górę
Post: ndz, 31 gru 2017 16:57:02 
Odpowiedz z cytatem
Offline
Żółtodziób
Żółtodziób

Rejestracja: ndz, 17 lut 2013 21:27:00
Posty: 3
A wracając do problemu przedstawionego przez autora wątku to czy dysponując CCR1072 oraz nowym wydajnym serwerem to czy nie lepiej było by odwrócić zadania.
Co myślisz o tym, żeby CCR1072 tylko routował (z czym sobie poradzi) a NAT i firewall zrobić na serwerze lub dedykowanych VM'kach dla poszczególnych segmentów sieci?

W przypadku DDoS kiedy dostaniesz te 10G ruchu to CCR1072 rozdzieli to na VM'ki i szybciej dojdziesz do tego gdzie jest kierowany atak.
Oczywiście powyższe poda warunkiem, że CCR1072 robi tylko routing bez żadnych funkcji związanych z firewall.


Na górę
Post: ndz, 31 gru 2017 18:58:44 
Odpowiedz z cytatem
Offline
Obsesyjny prozaik
Obsesyjny prozaik
Awatar użytkownika

Rejestracja: pt, 14 sty 2011 0:36:15
Posty: 1296
Lokalizacja: Jaworzno
akurat CCR1072 poradzi sobie lepiej z NATem, bo będzie działał na wszystkich rdzeniach :) Póki BGP pracuje na 1 rdzeniu to wstawianie 1072 do tej roli nie ma żadnego sensu...

_________________
netmon.pl - blog o sieciach, sprzęcie i oprogramowaniu dla ISP.


Na górę
Post: wt, 02 sty 2018 13:45:04 
Odpowiedz z cytatem
Offline
Młodszy czytelnik
Młodszy czytelnik

Rejestracja: wt, 19 mar 2013 12:29:37
Posty: 55
Loockas ma sporo racji. Jeżeli coś może działać wielowątkowo to z definicji powinno działać lepiej. Aczkolwiek jeszcze kwestia wydajności rdzeni, instrukcji wbudowanych w CPU, metod cacheowania, możliwości interfejsów itd. Za dużo zmiennych, więc ciężko jednoznacznie stwierdzić. CCRy to solidne urządzenia. Właściwie od niedawna (2 lata) mam z nimi styczność przy niewielkiej sieci (2-3k IP), więc ciężko jest się wypowiedzieć na temat ich wydajności. Wcześniej przy 10 krotnie większej stosowałem w core urządzenia, które routing realizowały sprzętowo (cisco), zaś niższe warstwy realizowałem przy pomocy vm'ek. Konfiguracja nie do zdarcia. Oczywiście nie zapominamy o redundancji.


Na górę
Post: śr, 24 sty 2018 21:11:47 
Odpowiedz z cytatem
Offline
Powieściopisarz
Powieściopisarz

Rejestracja: pt, 21 paź 2005 11:38:47
Posty: 1883
Lokalizacja: k/Rzeszowa
Cytuj:
Moim zdaniem problemem jest w ogóle architektura x86 jako taka i bawienie w wirtualizację to jest zabawa w tej materii. PCty nadają się na takie rozwiązania do pewnego momentu. Jak trzeba z nich wycisnąć wszystkie soki to pojawia się problem z przerwaniami i rozkładaniem obciążenia i tego nie da się generalnie obejść - ograniczeniem jest po prostu magistrala PCI-Express oraz sposób wielodostępu do tej magistrali - a jeśli już uda się coś wymyślić to jest to tylko takie łatanie. Dlatego niektóre platformy zaprojektowane i dedykowane do pewnych rozwiązań będą zdecydowanie szybsze. Nawet już patrząc na EdgeRouter PRO - tam wszystkie interfejsy są na szynie wbudowane w procesor główny - zero problemów z przerwaniami, sterownikami itd. Przecież kuhwicy szło dostać z kartami Intela czy innym badziewiem jak trzeba było rzeźbić żeby osiągnąć wydajność taką jaką się chciało. A w EPPro - od strzała masz 1Gbit/s po kurek. Dlatego duże nadzieję pokładam w Infinity bo jeśli to jest ta sama architektura (a płyta główna ER-XG to referencyjna płyta Cavium) to przerzucanie 10Gbit/s będzie tak samo proste i relatywnie tanie.


W cdr właśnie się pojawił. Wygląda obiecująco. Ciekawie jak wyjdzie w testach.


Na górę
Post: śr, 31 sty 2018 1:43:57 
Odpowiedz z cytatem
Offline
Młodszy czytelnik
Młodszy czytelnik

Rejestracja: sob, 08 sty 2011 21:29:27
Posty: 53
dell r210II
małe to fajne...


Na górę
Post: pn, 05 lut 2018 23:54:00 
Odpowiedz z cytatem
Offline
Obserwator
Obserwator

Rejestracja: ndz, 26 maja 2013 14:04:23
Posty: 32
Witam.


Ja osobiście jestem zwolennikiem e3-1240v2 + karta z multiqueue 1g lub 10g- rozbija ruch po równo na wszystkie procki
- 100% traffic przez firewall
- nat
- 2k kolejek
- l7 filters
- prędkości do 600/100
- bgp
-Mikrotik 6.36.4
Jak odpaliłem konfiguracje na ccr 1036 ledwo działał. nie był w stanie przyciąć pasma - w sumie to tak żeby leciało to co ustawione a nie 20 40 % wartości.

Poniżej jak wygląda statystyka obciążenia x86

Załącznik:
graphppspng.png
graphppspng.png [ 10.61 KiB | Przejrzano 1089 razy ]

Załącznik:
graphprzep.png
graphprzep.png [ 11.94 KiB | Przejrzano 1089 razy ]

Załącznik:
cpuday.png
cpuday.png [ 12.35 KiB | Przejrzano 1089 razy ]




Zastanawiam się nad zmianą na AM4 1800x ryzen, ktoś próbował odpalić?


Ostatnio zmieniony pn, 05 mar 2018 23:03:48 przez venthyln, łącznie zmieniany 2 razy.

Na górę
Post: wt, 06 lut 2018 11:17:11 
Odpowiedz z cytatem
Offline
Obserwator
Obserwator

Rejestracja: ndz, 26 maja 2013 14:04:23
Posty: 32
Dla wyjaśnienia dodam że wydajność maszynki x86 routera zależy od
-Mikrotik 6.36.4

1. -karty sieciowej z multiqueue,
czyli robicie jednej sieciówki na 8 procków

Tutaj znajdziecie w kolumnie Performance ilość kolejek RX i TX w zależności od chipu karty intela

https://www.intel.com/content/www/us/en ... guide.html

a tu jak to wyglada w praktyce

Załącznik:
mq_eth.JPG
mq_eth.JPG [ 77.15 KiB | Przejrzano 1052 razy ]


2. Nowoczesnego procka.

np minimum e3-1240v2 jest zauważalna różnica między e3-1240v2 a e3-1240

Najczęstsze błędy przy doborze komputera i sieciówki

zakup routera z wolnym Prockiem 3ghz na starym procku = 1,5gz na nowym

-> na stronie https://www.cpubenchmark.net/

znajdziecie porównanie wydajności procesorów trzeba porównać przed zakupem


osobiście miałem kiedyś lata temu problemy z wydajnością, jak się kupowało szrot serwery i karty bez multiqueue.

Nigdy dla obciążonego routera x86 nie zrobiłbym wirtualizacji.

dla ruchu 0,6 - 2 gb/s
routery pudełkowe maja sens
wtedy kiedy nie robią nic innego poza gołym routingiem.(bez bgp)


Ostatnio zmieniony pn, 05 mar 2018 23:04:09 przez venthyln, łącznie zmieniany 1 raz.

Na górę
Post: wt, 20 lut 2018 14:20:22 
Odpowiedz z cytatem
Offline
Młodszy czytelnik
Młodszy czytelnik

Rejestracja: pt, 19 cze 2015 10:06:31
Posty: 73
Witam.
Co zamiast CCR1009/CCR1036 rozważyć pod BGP przy łączu 1GB i ok. 1k klientów?
Kiedyś kiedyś na brzegu pracował supermicro z d525 na pokładzie...


Na górę
Post: wt, 20 lut 2018 14:40:47 
Odpowiedz z cytatem
Offline
Obsesyjny prozaik
Obsesyjny prozaik

Rejestracja: wt, 17 lut 2009 0:15:58
Posty: 1247
Lokalizacja: Kraków
karkow pisze:
Witam.
Co zamiast CCR1009/CCR1036 rozważyć pod BGP przy łączu 1GB i ok. 1k klientów?
Kiedyś kiedyś na brzegu pracował supermicro z d525 na pokładzie...


jak to ma być tylko BGP i masz do 1G ruchu to styknie ERPro 8
https://www.senetic.pl/product/ERPRO-8


Na górę
Post: wt, 20 lut 2018 15:22:04 
Odpowiedz z cytatem
Offline
Młodszy czytelnik
Młodszy czytelnik

Rejestracja: pt, 19 cze 2015 10:06:31
Posty: 73
Jak tylko BGP to szkoda tylu portów których nie wykorzystam.
Niech mi ktoś potwierdzi, że jednak ten supermicro X7SPE-HF-D525 i debian z birdem da radę.
Dopnę jakiś malutki dysk SSD i wsio.


Na górę
Post: wt, 20 lut 2018 16:41:34 
Odpowiedz z cytatem
Offline
Obsesyjny prozaik
Obsesyjny prozaik
Awatar użytkownika

Rejestracja: pt, 14 sty 2011 0:36:15
Posty: 1296
Lokalizacja: Jaworzno
D525 mam pod opieką (debian + bird). Przy 500Mb ma kilkanaście procent CPU. Trochę długo mu schodzi pobranie pełnej tablicy, ale i tak szybciej jak na CCRach :)

_________________
netmon.pl - blog o sieciach, sprzęcie i oprogramowaniu dla ISP.


Na górę
Post: śr, 21 lut 2018 10:57:41 
Odpowiedz z cytatem
Offline
Młodszy czytelnik
Młodszy czytelnik

Rejestracja: pt, 19 cze 2015 10:06:31
Posty: 73
Na taką odpowiedź liczyłem. Dziękuję.
Tylko teraz trzeba się zapoznać z konfigiem birda.
Przeniesienie konfigu z CCR'a nie powinno być chyba trudne.


Na górę
Post: pt, 23 lut 2018 12:44:31 
Odpowiedz z cytatem
Offline
Obsesyjny prozaik
Obsesyjny prozaik
Awatar użytkownika

Rejestracja: pt, 14 sty 2011 0:36:15
Posty: 1296
Lokalizacja: Jaworzno
Jak załapiesz o co chodzi, to sama przyjemność :)

Większość popularnych filtrów znajdziesz w przykładach dostępnych w sieci. Jakbyś coś potrzebował, to pisz tutaj.

_________________
netmon.pl - blog o sieciach, sprzęcie i oprogramowaniu dla ISP.


Na górę
Post: pt, 23 lut 2018 22:42:04 
Odpowiedz z cytatem
Offline
Obsesyjny prozaik
Obsesyjny prozaik
Awatar użytkownika

Rejestracja: śr, 09 cze 2010 18:48:04
Posty: 1127
Lokalizacja: Suwałki
No nie kumam o co chodzi wam z CCR1036.

Załącznik:
graph.png
graph.png [ 145.5 KiB | Przejrzano 744 razy ]


To tygodniowy ruch przez ten jeden router. Ma też tam kilka regułek w queue no i filtrację DDoS. Sesji sumarycznie (v4 i v6) jest 21 z czego 5 to pełne tablice.

Użycie CPU:

Załącznik:
graph-cpu.png
graph-cpu.png [ 201.83 KiB | Przejrzano 744 razy ]


Wzrosty są tylko w momencie jak zdropuję sesję z pełną tablicą i ją wznawiam. Wtedy jak na wykresach , wzrost widać ale nie jest to jakaś masakra.

_________________
AS198408; BT2299-RIPE
"Mucha nie kuca......."

IRCNET: #mikrotik.pl


Na górę
Post: pn, 05 mar 2018 10:23:33 
Odpowiedz z cytatem
Offline
Obserwator
Obserwator

Rejestracja: ndz, 26 maja 2013 14:04:23
Posty: 32
Witam,
Dorzucam świeże testy Mikrotika :)

- 2500k kolejek
- 100% ruchu firewall
- 100% nat
- Mikrotik 6.36.4

maszyna testowa bazująca na dual socket 1366
2x xeon L5640 lub x5670

koszt serwera około 1000 -1400 zł

DYGRESJA do vlanów karty z multiqueue bez problemu obsługują vlany pod warunkiem że używacie kart na chipsetach wpisanych poniżej.

w przypadku BRAKU MULTIQUEUE na karcie sieciowej, sieciówka dobija tylko jeden procesor zamiast rozłożyc obciązenie równo miedzy 8-24 cpu
dlatego tu jest wskazana wieloportowość

w testowanych serwerach egzemplarze karty
10Gb/s LR-Link LREC9802BF-2SFP+ Intel 82599 PCIe x8
około 750 netto
multiqueue karty rozkłada się na wszystkie 24 procesory


dla 1g polecam wyłącznie karty na układzie (Intel 82576 Based)
obsługują multiqueue przynajmniej do 8 procesorów


poniżej porównanie - wszytko 1U


Załączniki:
porownanie.JPG
porownanie.JPG [ 273.25 KiB | Przejrzano 603 razy ]


Ostatnio zmieniony pn, 05 mar 2018 23:04:43 przez venthyln, łącznie zmieniany 1 raz.
Na górę
Post: pn, 05 mar 2018 13:11:38 
Odpowiedz z cytatem
Offline
Obsesyjny prozaik
Obsesyjny prozaik
Awatar użytkownika

Rejestracja: śr, 09 cze 2010 18:48:04
Posty: 1127
Lokalizacja: Suwałki
Ale masz na tym BGP ?

_________________
AS198408; BT2299-RIPE
"Mucha nie kuca......."

IRCNET: #mikrotik.pl


Na górę
Post: pn, 05 mar 2018 22:41:26 
Odpowiedz z cytatem
Offline
Obserwator
Obserwator

Rejestracja: ndz, 26 maja 2013 14:04:23
Posty: 32
Tak mam bgp
z tym że na chwile obecną mam dwa takie same serwery
e3-1240v2 cpu + 10g sfp+ lrlink

-Mikrotik 6.36.4
1- bgp, 100 traffic przez firewall ( do łapania ddos) żęby router nie usypiał

-Mikrotik 6.36.4
2. router bez bgp

w przypadku bgp
2x pełna tablica
2x thinx
1x sesja pełna dawana

średnio raz na 30 - 60 sekund 1 rdzeń skacze na 90-100 procent na jakąś sekundę - przeliczanie trasy
ale nie zauważyłem żeby miało to negatywny wpływ.

Dodatkowo może będe ograniczał ilość sesji bgp na x86
na ccr1036 ustawilem na global default route, i zdropowałem na filtrach prefixy)
i podniosłem tylko jedna sesję thinx
i nie widać żęby dobijało jednego rdzenia

Dodatkowo należy zauważyć żę nie każdy operator często przelicza trase bgp i wysyła nam naktualizację.
np w 3 dni bgp atman global 1mln aktualizacji, upc full 2 mln aktualizacji, thinx 300tys aktualizacji prefixow

Teraz będę się przesiadał na testowane rozwiązanie dualne

ponieważ procki x5670 maja mniejszą wydajność 1 threadową niż e5-1240 zakładam że przeliczanie bgp zajmie z 2 sekundy


Na górę
Post: wt, 06 mar 2018 17:57:11 
Odpowiedz z cytatem
Offline
Młodszy czytelnik
Młodszy czytelnik

Rejestracja: pt, 19 cze 2015 10:06:31
Posty: 73
Ja rezygnuję z birda. Sam nie dam rady a jak coś potem klęknie to facepalm.
Myślę o wrzuceniu mikrotika na supermicro. Zawsze to 600MHz więcej na rdzeniu do BGP.
Tylko zastanawiam się jeszcze jak to logicznie spiąć z głównym MT i skonfigurować.


Na górę
Wyświetl posty nie starsze niż:  Sortuj wg  
Nowy temat  Odpowiedz w temacie
Przejdź na stronę Poprzednia 1 2


Kto jest online

Użytkownicy przeglądający to forum: Majestic-12 [Bot], Werniks i 13 gości


Nie możesz tworzyć nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz dodawać załączników

Szukaj:
Przejdź do:  
Dzisiaj jest pt, 17 sie 2018 11:36:41

Strefa czasowa UTC+02:00

Moderatorzy: Administratorzy, Moderatorzy

Nakarm glodne dziecko - wejdz na strone www.Pajacyk.pl


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
SubSilver2 modified for Trzepak.pl by Colir
Polski pakiet językowy dostarcza phpBB.pl