Freesco, NND, CDN, EOS
http://forum.freesco.pl/

Rozwazania na temat squida
http://forum.freesco.pl/viewtopic.php?f=22&t=13867		 Strona 1 z 5
Autor:  czerwo [ sobota, 21 października 2006, 09:40 ]
Tytuł:  Rozwazania na temat squida
Jako, że dostałem informacje na temat ilości danych przechodzących przez squid, ilości danych trafionych itd. postanowiłem sobie policzyć troszke :)

# ./squid
Wyniki z OSTATNIEGO (z dzisiaj) pliku logów:
HIT: 59% odwołań (27223)
MISS: 40% odwołań (18214)
HIT: 26% danych (53MB)
MISS: 73% danych (146MB)

Wyniki ze WSZYSTKIECH plików logów:
HIT: 50% odwołań (1016891)
MISS: 49% odwołań (1006241)
HIT: 12% danych (2908MB)
MISS: 87% danych (20699MB)

A więc:
trafionych 53MB opuszczonych 146MB wsumie to daje ~200MB
A więc 200MB na dzień przechodzi przez www a więc:
Jeżeli mamy sięc na 30 kompów to:
50MB:30=1,7MB
146:30=4,86MB
1,7MB+4,86=6,56MB
czyli średnio komp w sieci ciągnie 6,56MB na www z czego zaoszczędza 1,7MB
A co będzie przy sieci na 50 kompów:
50MB:50=1MB
146:50=2,92MB
1+2,92=3,92MB
Zaoszczędzimy każdemu userowi 1MB czyli przy łączu 512kb/s=64kB/s czyli 1MB=1024kB więc 1024:64=16 czyli przez cały dzień user będzie siedział przed kompem o 16s mniej. 16s*31(dni)=8,2minuty nazbiera przez cały miesiąc.

To było wyliczane z pliku dziennego a zwrócmy uwage:
MISS do HIT = 2,75 - w przypadku logu dziennego
MISS do HIT = 7,11 - w przypadku logu całkowitego
Czyli statystyki wyjdą jeszcze gorsze!! Nie wiem ile userów było w tej sieci ale widać, że czym większa sieć tym gorzej wychodzi.

Posiadam też statystyki z innej sieci:
Wyniki z OSTATNIEGO (z dzisiaj) pliku logów:
HIT: 56% odwołań (358581)
MISS: 43% odwołań (275436)
HIT: 11% danych (828MB)
MISS: 88% danych (6117MB)

Wyniki ze WSZYSTKIECH plików logów:
HIT: 57% odwołań (3444791)
MISS: 42% odwołań (2561300)
HIT: 14% danych (9571MB)
MISS: 85% danych (55521MB)
trafionych 828MB opuszczonych 6117MB wsumie to daje 6945MB
A więc 7GB na dzień przechodzi przez www a więc:
Jeżeli mamy sięc na 30 kompów to:
828MB:30=27,6MB
146MB:30=203,9MB
Średnio komputer w sieci ściąga 231,5MB i zaoszczędza 27,6MB widać, że najprawdopodobniej jest to większa sieć niż 30 komputerów. Wynika z tego, że
27,6:231,5=0,11922
203,9:231,5=0,8807
Czyli średnio na 1MB danych z internetu user ściagnie 0,11MB z squida a 0,88MB z www

Patrząc dalej:
[czerwo@arch ~]$ wget www.onet.com.pl
--09:32:12-- http://www.onet.com.pl/
=> `index.html'
Translacja www.onet.com.pl... 213.180.130.110
Connecting to www.onet.com.pl|213.180.130.110|:80... połączono.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 302 Found
Lokalizacja: http://www.onet.pl/ [podążanie]
--09:32:12-- http://www.onet.pl/
=> `index.html'
Translacja www.onet.pl... 213.180.130.200
Connecting to www.onet.pl|213.180.130.200|:80... połączono.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 200 OK
Długość: 93,873 (92K) [text/html]

100%[====================================>] 93,873 51.85K/s

Strona onetu ma 98,873kB więc:
Na moim łączu:
98,873:51,85=1,906s
Z squidem:
1024k-112,64k - 1MB danych odpowiada 112,64k danych z squida
98,873k-x
98,873*112,64:1024=10k - dane sciagniete z squida
Więc:
98,873-10=88,873k - cala strona - squid = ilosc danych sciagnietych z www
88,873:51,85=1,714s
Co za powalająca różnica chyba sam zainstaluje squida!!

Mamy tu statystyki z 2 sieci. W jednej i drugiej ilosc trafien jest podobna około 12% danych!


IMO gra nie warta swieczki.
Czekam na komentarze.
Autor:  adi [ sobota, 21 października 2006, 09:54 ]
Tytuł:  Re: Rozwazania na temat squida
czerwo pisze:
Długość: 93,873 (92K)
Strona onetu ma 98,873kB


Mówisz o całej stronie - squid nie da Ci z cache wszystkiego :)

czerwo pisze:
Na moim łączu:
98,873:51,85=1,906s


Na Twoim łączu może tak, ale nie wszystkie sieci są takie jak Twoja... :)

czerwo pisze:
1024k-112,64k - 1MB danych odpowiada 112,64k danych z squida


Wydaje mi się że za bardzo uopgólniasz - średnia z załóżmy kilkudziesięciu tysięcy połączeń nie oznacza, że każda strona ładuje się tak samo.

czerwo pisze:
Co za powalająca różnica chyba sam zainstaluje squida!!



Przy rozwiązaniu squid + nice0.6 z klasą TOS dla squid'a - przyrost prędkości ładowania się stron jest bardzo widoczny. Biorąc pod uwagę ograniczenia dla użytkowników, którzy np. mają 256 kbit to transfer lokalny z proxy osiąga bardzo duże wartości. To przekłada się na wydajnośc takiego rozwiązania.

Druga sprawa to obciążenie łacza. Przy wysyconym łączu widać to znacznie - jeśli testujesz takie rozwiązanie na łączu, które daje Ci 50 KB/sek - to rzeczywiście nie ma potrzeby instalacji squid'a. :-)
Autor:  marask [ sobota, 21 października 2006, 09:58 ]
Tytuł: 
a na jakim sprzęcie badałeś u siebie?
Autor:  czerwo [ sobota, 21 października 2006, 10:05 ]
Tytuł: 
nie badalem u siebie i IMO sprzetu tu nie ma znaczenia bo nie wplynie to na ilosc cachowanych danych a przy czasie otwierania strony przez squida wziolem pod uwage tylko czas oczekiwania na dane z inetu.
Autor:  2jarek [ sobota, 21 października 2006, 10:25 ]
Tytuł: 
Do tego doszli juz jakis czas temu duzi ISP typu Chello, kablowki polikwidowaly proxy gdy ceny lacz operatorskich spadly a ludzie zaczeli sciagac z p2p caraz wiecej.
Autor:  zciech [ sobota, 21 października 2006, 10:55 ]
Tytuł: 
Ten król jest nagi! – wykrzyknęło nagle spośród tłumu małe dziecko. :twisted:

Co do ilosci danych to bardzo logicze poniewaz na to wplywa nie przegladanie stron bo to sa stosunkowo male ilosci danych, ale sciagane pliki protokolem http:// . Nie należy oczekiwać, zeby nagle kilku ludzi zapragnelo ten sam plik sciagnąć. (Zdjecia i filmiki z xxx na ten przyklad przykladowo)

Te wszystkie HITT to są ze stron "domowych" przegladarek. wiekszosc ludzi ma google, wp, onet, interie i co otworza przegladarke to sie wczytuje i licznik bije. :idea:
Autor:  JakubC [ sobota, 21 października 2006, 12:17 ]
Tytuł: 
IMO w squidzie nie do konca o to chodzi;)

Chodzi o zadowolenie klienta. Co z tego ze on bedzie mial wolny internet skoro jego ukochany onet otworzy sie w pół sekundy? Potem mysli ze net mu zapierdziela.

A p2p? p2p to zmora społeczeństwa... pod wieloma względami.
Autor:  -MW- [ sobota, 21 października 2006, 12:27 ]
Tytuł: 
a jak kiedys pisalem ze na moim skrypcie omijajacym niedogodnosc
przycinania squida przez niceshapera % wylapanych pakietow HITT
wynosi okolo 10-15% to mnie zrabali ze za malo idzie z cache.
Autor:  czerwo [ sobota, 21 października 2006, 12:27 ]
Tytuł: 
Mam nadzieje ze od teraz skoncza sie posty "Czy warto instalowac squida"
Odpowiedz brzmi: NIE NIE NIE i jeszcze raz NIE!!
Autor:  -MW- [ sobota, 21 października 2006, 12:36 ]
Tytuł: 
ja bylbym ostrozny z tak rewolucyjnymi wypowiedziami.

Cytuj:
Odpowiedz brzmi: NIE NIE NIE i jeszcze raz NIE!!


to brzmi jak wypowiedzenie wojny.
oszczednosc lacza z netu na 10% to i tak sporo.
na 100 userow 10 korzysta tylko z cache :)
a placa jak inni :)
Autor:  JakubC [ sobota, 21 października 2006, 13:00 ]
Tytuł: 
czerwo pisze:
Mam nadzieje ze od teraz skoncza sie posty "Czy warto instalowac squida"
Odpowiedz brzmi: NIE NIE NIE i jeszcze raz NIE!!

IMO wszystko zalezy od maszyny.

Ale generalnie masz racje..

W przypadku takich maszyn jakie w wiekszosci mamy to szkoda zasobów. Ale jak ktos ma jakąś kobyłe... ;)
Autor:  czerwo [ sobota, 21 października 2006, 14:44 ]
Tytuł: 
Co wy macie do tej maszyny??
Co ci da procesor 4G i 2GB ramu??
To ze cech nie bedzie na dysku tylko w ramie, a czy cos da?? bedzie wiekszy hit??

10% to nie oszczednosc. Jezeli byloby to 10% calego ruchu to tak.
Zwrocie uwage ze jest tu sporo osob ktore dziela neo.
Maja limit np. 15G i z tego 10%... . A nie zuzywaja 15G na www tylko 3GB. IMO gra nie warta swieczki.
Autor:  Alfred [ sobota, 21 października 2006, 15:21 ]
Tytuł: 
Cytuj:
10% to nie oszczednosc. Jezeli byloby to 10% calego ruchu to tak.

Każdy robi co lubi.
Moje doświadczenia wskazują, że róznica ze squidem, lub bez jest wyraźnie odczuwalna w szybkości otwierania się stron.
Mam neo 2M, dzielone tylko na 2 (sporadycznie jeszcze laptop), ale jak wyłączyłem squida, to córka zapytała, cytuję: "co ten net tak dzisiaj muli ?"

Z p2p praktycznie nie korzystam, oszczędności na łączu mnie nie interesują, bo limit 35G wysycam średnio w 10 procentach.
Ale squida mam i będę miał.

Może poczytajcie jeszcze np tu: http://www.pckurier.pl/archiwum/art0.asp?ID=4610
Autor:  JakubC [ sobota, 21 października 2006, 17:00 ]
Tytuł: 
czerwo pisze:
Co wy macie do tej maszyny??
Co ci da procesor 4G i 2GB ramu??
To ze cech nie bedzie na dysku tylko w ramie, a czy cos da?? bedzie wiekszy hit??

10% to nie oszczednosc. Jezeli byloby to 10% calego ruchu to tak.
Zwrocie uwage ze jest tu sporo osob ktore dziela neo.
Maja limit np. 15G i z tego 10%... . A nie zuzywaja 15G na www tylko 3GB. IMO gra nie warta swieczki.

Mnie przekonałeś...
Autor:  czerwo [ sobota, 21 października 2006, 18:04 ]
Tytuł: 
Alfred pisze:
Cytuj:
10% to nie oszczednosc. Jezeli byloby to 10% calego ruchu to tak.

Każdy robi co lubi.
Moje doświadczenia wskazują, że róznica ze squidem, lub bez jest wyraźnie odczuwalna w szybkości otwierania się stron.
Mam neo 2M, dzielone tylko na 2 (sporadycznie jeszcze laptop), ale jak wyłączyłem squida, to córka zapytała, cytuję: "co ten net tak dzisiaj muli ?"

Z p2p praktycznie nie korzystam, oszczędności na łączu mnie nie interesują, bo limit 35G wysycam średnio w 10 procentach.
Ale squida mam i będę miał.

Może poczytajcie jeszcze np tu: http://www.pckurier.pl/archiwum/art0.asp?ID=4610


To masz podzial lacza skopany.
Pierwsza rzecz jaka zle robicie to to ze nie stawiace cechu dns na serwerze i w tym momencie jak sciagacie przez www to nie ida zapytania dns i sie strony mula. Ale jak zrobicie wasza sprawa. Nice 0.6 wszyscy chwalili a jak zrobilem testy to juz nie bylo tak kolorowo i inni tez mowili ze zle dziala.
Autor:  Alfred [ sobota, 21 października 2006, 18:27 ]
Tytuł: 
Cytuj:
To masz podzial lacza skopany.
Pierwsza rzecz jaka zle robicie to to ze nie stawiace cechu dns ..........

O przepraszam, ale dnsmasq pracuje u mnie już baaardzo dawno.
Autor:  adi [ sobota, 21 października 2006, 18:56 ]
Tytuł: 
czerwo pisze:
gra nie warta swieczki.


Co za gra - problem z zainstalowaniem squid'a jest taki sam jak z każdym innym pakietem dla NND. Po prostu uparłeś się że to nic nie daje i tyle. Twoja sprawa i Twoje zdanie. Ty uważasz że instalowanie squid'a nic nie daje - ja wiem że daje. Ty lubisz muzykę XX i uważasz że muzyka YY jest do bani ja odwrotnie. Dlatego ta dyskusja nie ma sensu.
Autor:  Mis' [ sobota, 21 października 2006, 19:30 ]
Tytuł: 
adi pisze:
czerwo pisze:
gra nie warta swieczki.
Po prostu uparłeś się że to nic nie daje i tyle. Twoja sprawa i Twoje zdanie. Ty uważasz że instalowanie squid'a nic nie daje - ja wiem że daje.


Adi, mówisz "ja wiem, że daje" i nie chcesz słuchać że u innych mogło być inaczej. Pisałem już gdzie indziej - miałem Squida, miałem Squida połączonego z kilkoma innymi Squidami (wymieniającymi się cachem) i nie zauważyłem żadnych korzyści. W sytuacji gdy strony www są budowane dynamicznie, na żadanie przeglądarki, cachowanie nie ma sensu. Być może to sprawa specyficzna dla użytkowników w sieci - moi korzystają głównie z mail przez www, online banking i podobnych serwisów. A te z założenia nie będa cachowane. Więc zysk ze Squida jest taki że lokalnie mamy kilka małych gifów, a cała reszta idzie i tak za każdym wywołaniem strony z internetu. Nawet przy połączeniu modemowym nie jest to wielki zysk.
Powiedz "ja wiem, że w mojej sieci, Squid daje bardzo dużo" to zgodzę sie z Tobą w 100%.
Imho nakłady na sprzęt, które trzeba ponieść aby Squid działał dobrze nie zwracają sie w sensownym czasie. Więc instalowanie Squida dla mnie nie ma sensu.
Autor:  Alfred [ sobota, 21 października 2006, 21:30 ]
Tytuł: 
Cytuj:
Pisałem już gdzie indziej - miałem Squida, miałem Squida połączonego z kilkoma innymi Squidami (wymieniającymi się cachem) i nie zauważyłem żadnych korzyści.

Tu się zgadzam. Też to próbowałem i jest gorzej (sprawdzałem z kilkoma różnymi).
Ale jeśli chodzi o resztę to popieram Adi'ego.
Cytuj:
Imho nakłady na sprzęt, które trzeba ponieść aby Squid działał dobrze

W małej sieci, wcale nie potrzebujesz wypasionej maszyny. Wystarczy trochę RAM-u i trochę miejsca na w miarę szybkim dysku (NIE giga bajty !, bo wtedy maszyna musi być wydajna). Tu przecież nie chodzi o to, aby squid robił backup internetu !.
Taką maszynę ma co drugi admin.

Faktem jest, że 'upodobania' klientów mają duże znaczenie, czy squid sprawdza się bardziej, lub mniej.
Autor:  -MW- [ niedziela, 22 października 2006, 01:14 ]
Tytuł: 
prawda jest taka ze pytanie jest zle postawione :)

powinno brzmiec:
czy korzysci plynace z zainstalowania squida sa wieksze niz caly galimatjas jaki on wrowadza w ruchu do netu i po lanie.

jesli dla kogos ruch do routera jest wazny to nie ma sesu instalowanie squida.


a ja go i tak mam :)
Strona 1 z 5 Strefa czasowa UTC+2godz.
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/