Freesco, NND, CDN, EOS

Proponuję w tym wątku rozwiązać w końcu stary jak świat problem współpracy niceshaper'a i squid'a. Zapraszam wszystkie "Wielkie głowy" NND do wypowiedzi. Ze swej strony zgłaszam gotowość napisania odpowiednich skryptów z zaproponowanych tutaj rozwiązań (równiez przebudowanie konfiguratora dla niceshaper'a). Problem, który należy rozwiązać to: Kontrola wysyłanych danych przez squid'a na zewnatrz sieci i w ogóle kontrola ruchu squid'a z niceshaper'em.

W związku z pojawieniem się nowej wersji niceshaper'a proponuję metodę oprzeć na tej wersji. Możemy również zająć się kontrolą danych przesyłanych przez squid'a lokalnie przez niceshaper'a - ale tutaj istnieje rozwiązanie - delay pools.

Oprócz tego dobrze byłoby stworzyć przykładowe klasy dla nice kontrolujące pewne kategorie ruchu, mam na myśli np. ruch priorytetowy dla ssh (dla łączących sie zdalnie), może ruch dla lokalnego ftp'a na NND, luch dla zewnętrznego ftp na NND, ruch dla Apache na NND (na zewnątrz i do wewnątrz sieci) i inne przydatne. Może dobrym pomysłem jest także stworzenie klasy inne - do której wpadałby ruch nie zaklasyfikowany w żadnej z pozostałych klas.

W tej chwili dyskusja toczy się w kilku różnych wątkach, związanych z problemami poruszonymi przez konkretne osoby i związane z nimi przypadki. Chciałbym rozwiązac ten temat globalnie i stworzyć odpowiedni pakiet. Albo stwierdźmy jednoznacznie - "nie da się i koniec"

Zapraszam do dyskusji i proszę o podawanie sprawdzonych przykładów. Mam nadzieję, że wyjdzie z tego coś pożytecznego dla wszystkich.

_________________
Ludzie często, zamiast szukać prostych rozwiązań, komplikują sobie życie...

A ja bede czuwal i usuwał posty ktore nic nie beda wnosic do tematu!!

EDIT: Mowilem ze bede usuwal

_________________

Pierwszy przykład klasy:
Ruch wychodzący z serwera do internetu
Działa dla Apacha, ftp, poczty .... i pewnie też dla pakietów wychodzących przez squida

10.0.0.1 to adres karty sieciowej od strony internetu
To działa
Kto następny

_________________
Pozdrawiam

UWAGA Wszyscy testujący nowego Niceshapera !!!

Przed chwilą pod adresem:
www.ao.sytes.net/clamav/niceshaper0.6-r ... pkg.tar.gz
umieściłem poprawioną wersję tego samego nice
Poprawka polega na tym, że nie wywala błędu przy tworzeniu klasy z parametrem tos (squid), lub ttl.

Kto miał już zainstalowaną paczkę, to aby nie niszczyć swoich plików konfiguracyjnych powinien tylko ściągnąć, rozpakować i podmienić plik:
/usr/bin/niceshaper0.6

I teraz:
klasa

powoduje, że pliki, które idą z dysku squida są ściągane z maksymalną prędkością

a klasa

powoduje, że to co idzie przez squida, ale jest ściągane z netu jest ograniczane.

U mnie to działa !

EDIT
jeszcze jedno
W pliku config musi być wpis:
support mark on eth0 eth1 (markowanie pakietów dla eth1, lub dla obu jak tutaj)

_________________
Pozdrawiam

dużeeeee piwo dla alfreda
w końcu squid zagadał w normalnym tempie

Mam jeszcze jedno pytanko co do konfiguracji nice. Jak macie rozwiązaną zmianę prędkości np. w nocy. Czy zostaje tylko wieczorek (np. 23:00) wyłączenie niceshapera, podmiana configa i ponowne odpalenie? Rano (7:00) operacja podobna?
Proszę o sugestie lub polemikę

_________________
Użyszkodnik NND

Wydaje mi sie ze na to nie ma innego roziwazania. Podmiana configow i przeladowanie nice.
Przeciez to tylko wystarczy wpisac do crona i bedzie dzialac

_________________

a nice nie ma czasem parametru -f albo -c czy jakoś tak żeby mu podać ścieżkę do innego configa?

_________________
Ten post Ci pomógł? Zaznacz go jako pomocny .

Modyfikacje Alfred'a i squid podrasowany u mnie:

Sam niceshaper (bez squid'a)
----------------------------
wp - 12 sek
onet - 12 sek
interia - 15 sek
gazeta - 11 sek
cnn - 20 sek

Niceshaper ze squid'em
-----------------------
wp - 10 sek
onet - 8 sek
interia - 9 sek
gazeta - 5 sek
cnn - 15 sek

Średnie czasy otwierania stron www u userów.Sieć obciązona. Kilka pomiarów.

_________________
Ludzie często, zamiast szukać prostych rozwiązań, komplikują sobie życie...

squid w kolejce usera:

Rozwiazanie alfreda tworzy osobne pasmo dla squida, tak wiec jesli ktos zaczyna saciagac cos przez www dostaje tyle ile przypisane jest w clasie dla squida, natomiast to roziwaznie lapie ruch ze squida do widelek jakie zostalu przypisane danemu userowi. Sprawdzone, przetestowane i dziala.
temat zaczerpniety z forum niceshaepra.
nie ograniczamu ruchu po Lanie do i z serwera:

jesli ktos ma rozwiaznie ograniczenia psama sewrwera dla zmiennego IP to prosilbym o zamieszczenie.

Czy dodanie tos=0x0 do klas uploadu dla userów załatwi problem uploadu?

Niestety makog - sprawdzone i nie działa. U userów transfer urywa łącze. Dopiero delay pools squid'a to przycina.

_________________
Ludzie często, zamiast szukać prostych rozwiązań, komplikują sobie życie...

ale one chyba mają tos 0x0 bo przecież połączenie nie wyszło ze squida.

_________________
Ten post Ci pomógł? Zaznacz go jako pomocny .

Po konsultacji Mac!kiem wyrzeźbiłem taką zmianę:

Założenia:

1. Niceshaper ma działać ze squid'em.
2. Squid ma zostać ograniczony przez niceshaper'a
3. Ograniczenie nie ma obejmować pakietów trafionych (czyli puszczanych lokalnie)



Co zyskujemy:
Userzy mają zadeklarowane pasmo niezależnie od tego co ściągają a pakiety HIT są wysyłane lokalnie bez ograniczeń prędkości.

Co należy wyjaśnić - czy w takiej konfiguracji ruch generowany przez squid'a na zewnątrz (download i upload) jest kontrolowany przez niceshaper'a.

Powyższe rozwiązanie nie zostało prztestowane na 100%.

_________________
Ludzie często, zamiast szukać prostych rozwiązań, komplikują sobie życie...

I to jest (chyba !) prawidłowe rozwiazanie.

Tworząc klasę dla squida (pakiety NIE trafione) nie miałem na myśli, że tak ma być, a jedynie chcałem pokazać, że to działa i jak wygląda taka klasa.
Co nie znaczy, że jestem taki mądry, a tylko to, że nie mam (chyba nikt nie ma) doświadczenia z nowym nice, ale wspólnymi siłami (i testami) do czegoś dojdziemy.

_________________
Pozdrawiam

Rozwiązanie rzeczywiście działa! Ale wymaga jeszcze pewnych zmian w squid.conf (dzięki Makog... )

Powolutku jeszcze raz po kolei:

Wymagane są:
1. squid 2.6stable3 lub inny z odpowiednim patchem
2. Niceshaper poprawiony przez Alfreda
3. Chwila czasu na konfiguracje.

Wszystkie potrzebne pliki są na:

http://www.adane.pl/pub/nnd/pakiety/

SQUID
--------
UWAGA: Dla squid'a 2.6stable3 należy KONIECZNIE doinstalować wcześniej nowy openssl i openssh (inaczej będa problemy)

Squid 2.6stable 3 w konfigu nie wymaga opcji:

Powyższe opcje trzeba usunąć albo dać # przed każdą.
Wystarczy przy porcie dać parametr: transparent

Oraz koniecznie w configu następujące opcje:

teraz restartujemy squid'a i ustawiamy w firewall'u albo odpowiednią komendą żeby był przeźroczysty (transparent):


Niceshaper:
--------------
config normalnie wg uznania i chęci wysterowania...

plik class



Userzy mają zadeklarowane pasmo niezależnie od tego co ściągają a pakiety HIT czyli pakiety których squid NIE ŚCIAGA z internetu są wysyłane lokalnie bez ograniczeń prędkości. Powinno dopalić www niesamowicie!

TESTY:
--------
Download pliku pierwszy raz:


Download tego samego pliku ponownie:


Łącze ma 1 Mbit/ cache przeglądarki wyłączone.

EDIT:
Dla squid'a proponuję zmienić linijkę w /etc/rc.d/squid

Zamieniamy linię:

na


i ewentualnie w (squid 2.6stable3) linię:

na

Ale to już względy estetyczne

Daje nam to aż 4096 file-handles. Przy wiekszych sieciach się przydaje

_________________
Ludzie często, zamiast szukać prostych rozwiązań, komplikują sobie życie...

a niby jak ten parametr użyć

_________________
Użyszkodnik NND

Nie wiem, nie mam nicehsapera, sprawdź w helpie manie czy czymśtam, większość programów pozwala na podanie ścieżki do configa.

Co do tego co Adi napisał...
Teraz to się dopiero zacznie bajzel, każdy będzie miał pakiet nie wiadomo skąd, nie wiadomo jaką wersję. Nie instalowaną z repozytorium, tylko każdy z innego miejsca, i poprawianą własnoręcznie gdzie popadnie.
Zapowiada się żę będzie ciekawie :>

Te sugestie dotyczące pliku startowego squida przydałoby się podać do mantisa, choć większość z nich jest poprawiona od pewnego czasu w CVS, ale nie ma jeszcze nowych pakietów w repozytorium ze względu na brak czasu developerów.

_________________
Ten post Ci pomógł? Zaznacz go jako pomocny .

Mac!iek:
Maćku to wrzuć te trzy czy cztery pakiety do repo a ja je wywalę i tyle. A poza tym, jak popatrzysz po forum to i tak pakiety "walają się po kątach":)

Wszystkie chodzą z wersją kernela 2.4.31-1, sprawdzone na kilku serwerach u różnych osób. Także nie widzę problemu.

Przy okazji, co do zależności: squid 2.6stable3 wymaga openssl'a nowszego, ale już openssl (oba z repo.test) nie wymaga openssh. (nie wiem jak jest odwrotnie) Powoduje to tyle, że po wgraniu openssl'a do restartu maszyny wszystko jest ok, ale później ssh nie wstaje bo mu ssl nie pasuje i trzeba osobiście do routerka lecieć i wgrywać.

lehmpiotr:

Cytując dokumentację niceshaper'a:


Do przeładowywania niceshaper'a w cronie wpisujesz coś w stylu:


W jednej linii!

A w /etc/niceshaper0.6/ przygotowujesz sobie konfigi osobno:
Na dzień:
config_day
class_day

Na noc:
config_night
class_night

I po sprawie.

P.S. Rozwiązanie nie testowane - mogłem gdzieś walnąć byka

_________________
Ludzie często, zamiast szukać prostych rozwiązań, komplikują sobie życie...

Tetsowane i działa THX adi
Tak na marginesie testowałem to ale wpisywałem /etc/rc.d/niceshaper0.6 a widać że to nie to samo co /usr/bin/niceshaper0.6

_________________
Użyszkodnik NND

No pewnie że nie to samo. Pierwsze to skrypt, który nie przekaże Ci parametrów do nice, a drugie to binarka niceshape'a, która potrafi te parametry zinterpretować.

_________________
Ludzie często, zamiast szukać prostych rozwiązań, komplikują sobie życie...

No i właśnie tego nie lubię, jakiś taki nieporządek No ale to Wasze serwerki
Będą w repo, ale na razie jest deficyt czasowy, a ja nie ustawiałem synchronizacji repozytoriów więc muszę czekać aż przełożony odpowiedzialny za tą działkę coś ruszy

_________________
Ten post Ci pomógł? Zaznacz go jako pomocny .