Freesco, NND, CDN, EOS
http://forum.freesco.pl/

squid i keszowanie filmikow ze stronek
http://forum.freesco.pl/viewtopic.php?f=22&t=14386
Strona 1 z 1

Autor:  ChemiX [ sobota, 23 grudnia 2006, 15:55 ]
Tytuł:  squid i keszowanie filmikow ze stronek

mam takie pytanko co bym musial zmienic w configu squida zeby keszowal filmiki ze stronek i aktualizacje windy.

Autor:  -MW- [ sobota, 23 grudnia 2006, 15:56 ]
Tytuł: 

zmienic wielkosc obiektu zapisywanego w cache squida

w configu i odpowiednio ustawic wielkosc miejsca na cache squida.
ale czy to dobry pomysl?

Autor:  ChemiX [ sobota, 23 grudnia 2006, 16:01 ]
Tytuł: 

-MW- pisze:
zmienic wielkosc obiektu zapisywanego w cache squida

w configu i odpowiednio ustawic wielkosc miejsca na cache squida.
ale czy to dobry pomysl?

no jesli tak to raczej nie jest to dobry pomysl ale mam udostepniony osobny dysk na squida o pojemnosci 40gb

Autor:  -MW- [ sobota, 23 grudnia 2006, 16:11 ]
Tytuł: 

testuj i poinformuj o wynikach. nie bawilem sie nigdy z takimi wielkosciami :)

Autor:  ChemiX [ sobota, 23 grudnia 2006, 17:09 ]
Tytuł: 

-MW- pisze:
testuj i poinformuj o wynikach. nie bawilem sie nigdy z takimi wielkosciami :)

ok bede testowal ale cos jest nie tak mam squida 2.6stable5-2nnd i po zmianie z 16mb na 30mb nadal nie keszuje tych filmikow. a szczerze mowiac nie wydaje mi sie zeby mialy wiecej niz 30mb :)
: [/] [] ()
# squid.conf
# by Adi v 0.5 2006-09-26

http_port 8080 transparent
icp_port 0
cache_mem 256 MB               
cache_swap_high 95
cache_swap_low 90
ipcache_size 16384
fqdncache_size 0
zph_tos_local 8
zph_tos_peer 0
zph_tos_parent off
store_avg_object_size 14 KB
maximum_object_size 30 MB
maximum_object_size_in_memory 256 KB
cache_dir ufs /var/spool/squid 2048 16 64
redirect_rewrites_host_header off
cache_log /var/log/squid/cache.log
cache_access_log /var/log/squid/access.log
cache_store_log none
logfile_rotate 4
buffered_logs on
error_directory /usr/share/squid/errors/Polish
log_icp_queries off
debug_options ALL,1
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
memory_pools off
sleep_after_fork 2000
shutdown_lifetime 10 seconds
client_persistent_connections off
pid_filename /var/run/squid.pid         
cache_effective_user proxy
cache_effective_group proxy
visible_hostname router
dns_nameservers 192.168.1.1 194.204.152.34 194.204.159.1
ie_refresh on
half_closed_clients off
forwarded_for off
reload_into_ims on
#cache_mgr chemixxx@wp.pl
#cachemgr_passwd haslo all
acl all src 0.0.0.0/0.0.0.0
acl localnet src 192.168.1.0/255.255.255.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin cgi \? .ra
no_cache deny QUERY
acl SSL_ports port 443 563
acl Safe_ports port 80 21 443 563 70 210 1025-65535
acl Safe_ports port 280      # http-mgmt
acl Safe_ports port 488      # gss-http
acl Safe_ports port 591      # filemaker
acl Safe_ports port 777      # multiling http
acl CONNECT method CONNECT
acl nolimit url_regex -i 192.168.1.1
acl nolimitip src 192.168.1.1
acl limit url_regex -i ftp .zip .tgz .bin .pdf .exe .mp3 .wma .vqf .tar.gz .gz .rpm .rar .avi .mpeg .mpe .mpg .qt .ram .rm .iso .raw .wav .mov .torrent .html .gif .png .htm .cgi .php .asp .cgi-bin .js .css .jpg .swf
delay_pools 2
delay_class 1 2
delay_parameters 1 -1/-1 -1/-1
delay_access 1 allow nolimit
delay_access 1 allow nolimitip
delay_class 2 2
delay_parameters 2 500000/500000 16000/16000000
delay_access 2 allow limit
#http_access deny zablokowani
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localnet
http_access deny all
icp_access allow all
auth_param basic children 5
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off
refresh_pattern -i (.*jpg$|.*gif$) 0 50% 28800 reload-into-ims
refresh_pattern -i (.*png$|.*bmp$) 0 50% 28800 reload-into-ims
refresh_pattern -i (.*html$|.*htm|.*shtml) 0 20% 1440
refresh_pattern (http://.*/$) 0 20% 1440
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
refresh_pattern windowsupdate.com/.*\.(cab|exe) 0 100% 28800 reload-into-ims
refresh_pattern download.microsoft.com/.*\.(cab|exe) 0 100% 28800 reload-into-ims

Autor:  DjRobson [ sobota, 23 grudnia 2006, 17:30 ]
Tytuł: 

-MW- pisze:
testuj i poinformuj o wynikach. nie bawilem sie nigdy z takimi wielkosciami :)
No u mnie w miare działa i o dziwo sprzet (ponizej) jakos daje rady. Cache ustawiony na 18GB i max wielkosc objeku 30MB. Filmiki tzn. wiekszosc popularnych z yotube i podobnych sa na dysku serwera ;) Swap'a prawie niema, uptime 16:28:45 up 28 days, 19:07, 1 user, load average: 0.53, 0.34, 0.33

Autor:  ChemiX [ poniedziałek, 25 grudnia 2006, 16:37 ]
Tytuł: 

DjRobson pisze:
-MW- pisze:
testuj i poinformuj o wynikach. nie bawilem sie nigdy z takimi wielkosciami :)
No u mnie w miare działa i o dziwo sprzet (ponizej) jakos daje rady. Cache ustawiony na 18GB i max wielkosc objeku 30MB. Filmiki tzn. wiekszosc popularnych z yotube i podobnych sa na dysku serwera ;) Swap'a prawie niema, uptime 16:28:45 up 28 days, 19:07, 1 user, load average: 0.53, 0.34, 0.33

niestety nadal to u mnie nie dziala nawet po podmianie configa ktorego dostalem od kolegi DjRobson. co jeszcze moze byc za to odpowiedzialne??

Autor:  themaq [ sobota, 30 grudnia 2006, 02:10 ]
Tytuł: 

Tez z tym sie bawilem, rozne pliki w byle jakich formatach sa cache'owane a filmiki nie.. w takim ukladzie nie mam pojecia dlaczego tak jest. A w sumie przydalo by sie - czasami linka z filmikiem rzuci sie komus na sieci i po co ma 2gi raz scaigac.

DjRobson - ustawiales jakies 'dodatkowe' parametry w squid.conf - rozszerzenia itp.?

Autor:  DjRobson [ sobota, 30 grudnia 2006, 02:22 ]
Tytuł: 

themaq pisze:
...
DjRobson - ustawiales jakies 'dodatkowe' parametry w squid.conf - rozszerzenia itp.?

Jedynie małą poprawkę do współpracy z HTB Zciech'a i trybu transparent. Reszta z autoconfiga od adiego.
: [/] [] ()
cache_mem 128 MB
store_avg_object_size 32 KB
maximum_object_size 30000 KB
maximum_object_size_in_memory 128 KB
cache_dir ufs /var/cache/squid 18192 16 128

Autor:  MAC!EK [ sobota, 30 grudnia 2006, 02:31 ]
Tytuł: 

może sprawdźcie w logach czy te pliki na prawdę nie są keszowane:
$ grep youtube /var/log/squid/access.log*|grep flv
/var/log/squid/access.log.2:192.168.5.28 - - [27/Dec/2006:05:08:35 +0100] "GET http://youtube-624.vo.llnwd.net/d1/05/1 ... sza9tg.flv HTTP/1.1" 200 9128557 TCP_HIT:NONE

Zliczyłem wszystkie flv z youtube:
# grep youtube /var/log/squid/access.log*|grep flv|wc -l
159

Czyli jednak są keszowane...

Jest jezscze jeden sposób na sprawdzenie ...
Przekierujcie tylko siebie na squida, wyczyście log otwórzcie youtube i zobaczcie czy złabał plik flv i czy jest MISS czy HIT.
Możecie potem na innym kompie/IP wejść na ten sam link z youtube i zobaczyć w logach czy link do flv jest ten sam (jest on tak złożony że prawdopodobnie jakoś w bazie je mają i nie wiem czy do tego samego filmiku prowadzi ten sam link)

Autor:  -MW- [ sobota, 30 grudnia 2006, 03:29 ]
Tytuł: 

bawielm sie ogladaniem filmow przy maximum_object_size 40 MB
i powiem ze mi sie to nawet spodobalo :)
kolega ogladal jako pierwszy ja nastepny i szlo super, szkoda ze mam tylko 8GB :(

ps.
nie na tym samym komputerze :lol:

Autor:  DjRobson [ sobota, 30 grudnia 2006, 03:30 ]
Tytuł: 

MAC!EK pisze:
...
Możecie potem na innym kompie/IP wejść na ten sam link z youtube i zobaczyć w logach czy link do flv jest ten sam (jest on tak złożony że prawdopodobnie jakoś w bazie je mają i nie wiem czy do tego samego filmiku prowadzi ten sam link)
Hmm a to nie to samo testowac na różnych przeglądarkach na tym samym kompie? Opera ma opcje np. zupełnie można wyłączyc w niej cache. Ja myślę, że to są bardziej ważne wielkości w MB na dysku w serwie.

Autor:  MAC!EK [ sobota, 30 grudnia 2006, 15:03 ]
Tytuł: 

DjRobson pisze:
MAC!EK pisze:
...
Możecie potem na innym kompie/IP wejść na ten sam link z youtube i zobaczyć w logach czy link do flv jest ten sam (jest on tak złożony że prawdopodobnie jakoś w bazie je mają i nie wiem czy do tego samego filmiku prowadzi ten sam link)
Hmm a to nie to samo testowac na różnych przeglądarkach na tym samym kompie? Opera ma opcje np. zupełnie można wyłączyc w niej cache. Ja myślę, że to są bardziej ważne wielkości w MB na dysku w serwie.

To był tylko przykład, a znaczenie ma tylko pewnie ograniczenie wielkości cachewanego pliku.

Strona 1 z 1 Strefa czasowa UTC+2godz.
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/