Freesco, NND, CDN, EOS

http://www.freesco.pl
Dzisiaj jest środa, 18 czerwca 2025, 07:13

Strefa czasowa UTC+2godz.




Nowy temat Odpowiedz w temacie  [ Posty: 16 ] 
Autor Wiadomość
Post: środa, 26 grudnia 2007, 12:26 
Offline

Rejestracja: poniedziałek, 21 sierpnia 2006, 11:48
Posty: 3
Squid imq i niceshaper 0.6rc4.1 – poprawne działanie - rozwiązanie
Wersja poprawiona. :-). Poprzednia miała błąd w kolejności uruchamiania sekcji w pliku config – bardzo ważne ze względu na kolejność tworzonych reguł – wycinek pliku iptables.rules (te 2 poniższe wpisy dodaje po uruchomieniu sam niceshaper - nie wpisujemy ich do firewalla :-) ):
-A POSTROUTING -d 10.10.0.0/255.255.255.224 -j ns_squid
-A POSTROUTING -d 10.10.0.0/255.255.255.224 -j ns_download
Poprzednio było odwrotnie.

Wielu uważa że niemożliwym jest pogodzenie niceshapera z imq działającego z squidem. Mają rację (ale nie do końca :-) ). Jest tak kiedy chcemy utworzy klasę w tej samej sekcji w której następuje przekierowanie pakietów na wirtualny interfejs np. Download (chociaż tworzymy klasę na prawdziwym interfejsie) np.:

class download eth0 squid
match from localhost srcip 10.10.0.1 dstip 10.10.0.0/27 proto tcp tos 0x8
do-not-shape
#tutaj nawet jak ustawimy imq autoredirect false to i tak klasa zostaje ograniczona (szybkość klasy Kwiatek - sprawdzone i zmierzone :-) )

class download imq0 Kwiatek
match dstip 10.10.0.4
low 320kbit
ceil 768kbit
class upload imq1 Kwiatek
match srcip 10.10.0.4
low 40kbit
ceil 96kbit

Rozwiązaniem okazuje się utworzenie dodatkowej sekcji w pliku config (nazwałem ją squid) operującej na interfejsie rzeczywistym eth0 (dodałem też opcje default imq autoredirect false – profilaktycznie :-) ) :

<global>
run download upload squid
#tutaj zmieniłem ważna jest kolejność uruchamiania kolejnych sekcji
support mark-on eth0
#tylko na interfejsie rzeczywistym w przypadku markowania na imq kolejne ip z klasy nie jest ograniczane
stats file /var/www/stats/nsstats.txt unit kb/s owner root group root mode 644
</global>

<squid>
iface eth0 match dstip 10.10.0.0/27
# iface eth0 match dstip 10.10.0.0/27
default imq autoredirect false
section speed 1024kB/s
section shape 1000kB/s
default low 125kB/s
default ceil 256kB/s
default htb prio 5
# default overtake 20kB/s
default hold 600s
default htb scheduler esfq
default esfq hash dst
# debug iptables iproute
iptables insert-hook POSTROUTING
# insert-hook - reguła zostaje wstawiona na początek wskazanego łańcucha. ,,cytat” :-)
#wystarczyłoby tylko dać ją tutaj a w download i upload zostawić ustawienie standardowe czyli:
# iptables hook POSTROUTING
reload 1s
#czas odświeżania sekcji squid warto ustawić na dość niski
#ze względu na to że klasa może nie zdążyć utworzyć się a transfer www
#lokalny pójdzie klasą imq – potwierdzone pomiarami przy
#transferze z www.wp.pl z włączonym adblockiem
</squid>

<download>
iface imq0 match dstip 10.10.0.0/27
# iface eth0 match dstip 10.10.0.0/27
default imq autoredirect true
section speed 230kB/s
section shape 200kB/s
default low 1kB/s
default ceil 2kB/s
default htb prio 5
# default overtake 20kB/s
default hold 600s
default htb scheduler esfq
default esfq hash dst
# debug iptables iproute
iptables insert-hook POSTROUTING
reload 3s
</download>

<upload>
iface imq1 match srcip 10.10.0.0/27
# iface eth0 match srcip 10.10.0.0/27
default imq autoredirect true
section speed 26kB/s
section shape 24kB/s
default low 1kB/s
default ceil 2kB/s
default htb prio 5
# default overtake 3kB/s
default hold 600s
default htb scheduler esfq
default esfq hash src
# debug iptables iproute
iptables insert-hook PREROUTING
reload 2s
</upload>

Jak widać sekcja squid jest ograniczana – mi się to przydaje ponieważ używam wi-fi.
A teraz zawartość pliku class (kolejność jest ważna):

class squid eth0 squid_Kwiatek
match from localhost srcip 10.10.0.1 dstip 10.10.0.16 proto tcp tos 0x8

class download imq0 Kwiatek
match dstip 10.10.0.16
low 40kB/s
ceil 96kB/s
class upload imq1 Kwiatek
match srcip 10.10.0.16
low 6kB/s
ceil 12kB/s

W taki oto sposób można pogodzić squida z niceshaperem pracującym na wirtualnych interfejsach imq. Squid w takim przypadku przesyła dane lokalnie z szybkością 2048kb (ograniczenie dla wi-fi i dysku serwera :-) - zmierzone i sprawdzone). Pozdrawiam wszystkich i życzę Wesołych Świąt i Szczęśliwego Nowego Roku.


Ps. Poniżej podaje link potwierdzający poprawne działanie powyższych ustawień.
Obrazek

Ps2. Przepraszam za pierwsza wersje która nie działała do końca :-)

Aby wszystko działało jak należy musimy zastosować się do poniższych reguł:
Po pierwsze dajemy suport-mark tylko na eth0 - to w przypadku NEOSTRADY w przypadku DSL-a eth1 lub tak jak macie łącze skonfigurowane :-).
Po drugie ważna jest kolejność uruchamiania sekcji (squid na końcu) i to żeby sekcja SQUID znalazła się na początku łańcucha do tego służy opcja iptables insert-hook POSTROUTING.
Dodatkowo w iptables trzeba przekierować ruch www na port 8080 lub 3128 w zależności jaki ustawiliśmy dla squida bez tego przekierowania żaden pakiet nie pójdzie nam lokalnie :-) Aha i najważniejsze w konfiguracji squida ustawiamy go jako transparentny i znaczymy pakiety lokalnie lecące tos 8.

Mały test za pomocą tc-viewera:
Plik ściągany z serwera dobreprogramy.pl – cache squida wyczyszczony. Plik idzie interfejsem wirtualnym imq0.
Obrazek

Ten sam plik ściągany po raz drugi (cache przeglądarki wyczyszczony) idzie klasą zadeklarowaną w sekcji squid (idzie lokalnie 2Mb na eth0).
Obrazek

Link do przykładowej konfiguracji niceshapera - gotowe pliki class i config:
http://file4u.pl/download/300241/niceshaper.tar.gz

I to by było na tyle :-)


Ostatnio zmieniony wtorek, 8 stycznia 2008, 19:32 przez kwiatek1977, łącznie zmieniany 2 razy

Na górę
 Wyświetl profil  
 
 Tytuł: pytanie
Post: poniedziałek, 7 stycznia 2008, 04:15 
Offline

Rejestracja: poniedziałek, 25 października 2004, 00:28
Posty: 32
Lokalizacja: lubsko
Cytuj:
iptables v1.3.4: Couldn't load target `ns_squid':/usr/lib/iptables/libipt_ns_squid.so: cannot open shared object file: No such file or directory

jest pózno i nie mam siły mysleć, :P dodałem wpisy do iptales i wyskakuje mi przy restacie firewwala ;/ ^^

_________________
Uczę się Tworząc .. Tworze ucząc się ;)
-------


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: wtorek, 8 stycznia 2008, 13:51 
Offline

Rejestracja: poniedziałek, 21 sierpnia 2006, 11:48
Posty: 3
Witaj poterr tych 2 regułek nie wpisujemy to tylko wycinek pliku iptables.rules który utworzyłem na kilka sekund dla demonstracji za pomoca polecenia iptables save a nastepnie go skasowałem.
# Wycinek pliku iptables.save
-A POSTROUTING -d 10.10.0.0/255.255.255.224 -j ns_squid
-A POSTROUTING -d 10.10.0.0/255.255.255.224 -j ns_download
# Pokazałem tylko w celu informacyjnym - plik iptables.rules wygenerowałem a nastepnie skasowałem - te wpisy dodaje po uruchomieniu sam niceshaper.
Pozdrawiam


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: wtorek, 8 stycznia 2008, 18:24 
Offline
Użytkownik

Rejestracja: sobota, 14 maja 2005, 15:07
Posty: 3177
Lokalizacja: Busko-Zdrój
wysylam plik na router i dalej mi przycina transfer :twisted:

_________________
Pomógł? wypij jego zdrowie.
http://nnd-linux.pl/faq.php
http://wiki.nnd.freesco.pl/index.php/FAQ


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: wtorek, 12 lutego 2008, 01:17 
Offline

Rejestracja: poniedziałek, 25 października 2004, 00:28
Posty: 32
Lokalizacja: lubsko
-MW- pisze:
wysylam plik na router i dalej mi przycina transfer :twisted:

dołączam sie do pytania ;>
wysłam pliki na serwer poprzez FTP nice tnie :x do Kb/s uploadu ..
co do reszty swietnie ;) działa ;)

_________________
Uczę się Tworząc .. Tworze ucząc się ;)
-------


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: czwartek, 14 lutego 2008, 17:52 
Offline
Użytkownik

Rejestracja: piątek, 16 września 2005, 10:42
Posty: 162
a tak zapytam, po co wam ten squid??


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: czwartek, 14 lutego 2008, 21:36 
Offline
Użytkownik

Rejestracja: sobota, 14 maja 2005, 15:07
Posty: 3177
Lokalizacja: Busko-Zdrój
zeby draznil i zeby zastanawiac sie jak zrobic aby ruch do routera nie byl przycinany :twisted:

ps.
a wystarczy lekko zmodyfikowac reguly przekierowujace.

_________________
Pomógł? wypij jego zdrowie.
http://nnd-linux.pl/faq.php
http://wiki.nnd.freesco.pl/index.php/FAQ


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: piątek, 15 lutego 2008, 14:11 
Offline
Użytkownik

Rejestracja: piątek, 16 września 2005, 10:42
Posty: 162
Czasy SDI i kamienia łupanego dawno minely, dlatego z racji szybszych łącz czy np. że wiekszosc stron w php jest to nie ma sensu stosowac squida bo on juz tego nie keszuje (moze obrazki i pliki) ale i tak jest to bezcelowe zawracanie sobie dupy bo specjalnej roznicy nie widac (kiedys squid byl celowy), a ci co maja kiepsko dzialajaca siec niech nie mysla ze squid im cos da lepiej. Generalnie wiecej sobie problemow stworza tacy milosnicy sq.

Jedynie co pożytecznego ze squida teraz to filtrowanie tresci czy spowalnianie ssaczy.


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: piątek, 15 lutego 2008, 14:24 
Offline
Użytkownik

Rejestracja: niedziela, 16 maja 2004, 21:32
Posty: 1203
Lokalizacja: Bieruń
Cytuj:
Czasy SDI i kamienia łupanego dawno minely, dlatego z racji szybszych łącz czy np. że wiekszosc stron w php jest to nie ma sensu stosowac squida bo on juz tego nie keszuje (moze obrazki i pliki) ale i tak jest to bezcelowe zawracanie sobie dupy bo specjalnej roznicy nie widac (kiedys squid byl celowy), a ci co maja kiepsko dzialajaca siec niech nie mysla ze squid im cos da lepiej. Generalnie wiecej sobie problemow stworza tacy milosnicy sq.

Jedynie co pożytecznego ze squida teraz to filtrowanie tresci czy spowalnianie ssaczy.


kazdy robi jak mu pasuje! na 10 userow squid jest moze i bezcelowy, ale na 50 i wiecej juz sie przydaje! pisze to na przykładzie swojej sieci.U mnie squid zdaje egzamin !


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: piątek, 15 lutego 2008, 15:49 
Offline
MODERATOR

Rejestracja: sobota, 30 lipca 2005, 14:08
Posty: 3984
Lokalizacja: Rzeszów
Wczoraj przez squida przeszlo 29736.49 MB, z czego 2853.97 MB z cache. Stoi sobie na osobnej maszynie, nie jest transparentny (tylko dodany do proxy.pac). Jak widac ktos jednak chce z niego korzystac.

_________________
FAQ dla NND: http://nnd-linux.pl/faq.php
Doswiadczenie, to cos, co zdobywasz tuz po chwili w ktorej go potrzebowales.


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: piątek, 15 lutego 2008, 19:42 
Offline
Użytkownik

Rejestracja: piątek, 16 września 2005, 10:42
Posty: 162
szkoda dysku, bo sie nameczy i wczesniej padnie :) ,, no ale jesli ktos "upycha" ludkow z max wysyceniem lacza i na dobrym sprzecie to czemu nie....


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: piątek, 15 lutego 2008, 20:19 
Offline
Użytkownik

Rejestracja: sobota, 14 maja 2005, 15:07
Posty: 3177
Lokalizacja: Busko-Zdrój
13-15% zysku.
o tyle osob mozna wiecej wsadzic na lacze.
dla 300 osob to jest jakies 45osob po 39zl =1755zl :)

ale to jest moje zdanie.

ze jest problematyczne utrzymanie squida to inna historia.
sam sposob pobierania danych przez squida to jeszcze inny temat.
zrobienie obejsc w swoich pdzilach to kolejny bol glowy,
ale nie znaczy ze nie mozna tego pogodzic!


ja sam mam uczucia mieszane.

_________________
Pomógł? wypij jego zdrowie.
http://nnd-linux.pl/faq.php
http://wiki.nnd.freesco.pl/index.php/FAQ


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: sobota, 16 lutego 2008, 11:35 
Offline
MODERATOR

Rejestracja: sobota, 30 lipca 2005, 14:08
Posty: 3984
Lokalizacja: Rzeszów
sq6iuv pisze:
szkoda dysku, bo sie nameczy i wczesniej padnie :)

Nie boj sie o to. Dobry raptorek i bedzie smigac. W razie czego obok lezy drugi, wiec naprawa zajmuje nieduzo wiecej niz dojazd na serwerownie. nie uwazam squida za jakis 8 cod swiata i zbawienie urynanetow, ale tez nie twierdze, ze jest calkiem niepotrzebny.

_________________
FAQ dla NND: http://nnd-linux.pl/faq.php
Doswiadczenie, to cos, co zdobywasz tuz po chwili w ktorej go potrzebowales.


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: sobota, 16 lutego 2008, 15:58 
Offline
CDN Support

Rejestracja: środa, 12 lipca 2006, 14:46
Posty: 497
Lokalizacja: Sarnaki / Warszawa
gdzieś czytałem o tym że można zrobić ram-dysk specjalnie pod squida, podobno dość wydajne rozwiązanie, no ale wtedy trzeba mieć "trochę" ramu


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: sobota, 16 lutego 2008, 16:29 
Offline
MODERATOR

Rejestracja: sobota, 30 lipca 2005, 14:08
Posty: 3984
Lokalizacja: Rzeszów
Zastanow sie nad tym co napisales.

_________________
FAQ dla NND: http://nnd-linux.pl/faq.php
Doswiadczenie, to cos, co zdobywasz tuz po chwili w ktorej go potrzebowales.


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: niedziela, 17 lutego 2008, 02:35 
Offline
PGF

Rejestracja: wtorek, 27 czerwca 2006, 14:09
Posty: 2112
Lokalizacja: Poznań
Kimas pisze:
gdzieś czytałem o tym że można zrobić ram-dysk specjalnie pod squida, podobno dość wydajne rozwiązanie, no ale wtedy trzeba mieć "trochę" ramu

Przecież squid w pierwszej kolejności upycha się w ram (patrz: plik konfiguracyjny squida). Nie wiem skąd przyszły te pomysły z ramdyskiem (bo słyszę to już któryś raz na forum), ale są one jak dla mnie bzdurne.

_________________
Dedykowane systemy CRM, e-commerce i witryny korporacyjne.
Software House Poznań


Na górę
 Wyświetl profil  
 
Wyświetl posty nie starsze niż:  Sortuj wg  
Nowy temat Odpowiedz w temacie  [ Posty: 16 ] 

Strefa czasowa UTC+2godz.


Kto jest online

Użytkownicy przeglądający to forum: Obecnie na forum nie ma żadnego zarejestrowanego użytkownika i 8 gości


Nie możesz tworzyć nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz dodawać załączników

Szukaj:
Przejdź do:  
cron
Technologię dostarcza phpBB® Forum Software © phpBB Group
Hosting: Compus-Net
RobertKonik.pl