Freesco, NND, CDN, EOS
http://forum.freesco.pl/

Squid i cahe na HDD
http://forum.freesco.pl/viewtopic.php?f=22&t=8181
Strona 1 z 2

Autor:  Alfred [ środa, 13 lipca 2005, 21:19 ]
Tytuł:  Squid i cahe na HDD

Mam problem ze squidem. Niby działa OK, ale wszystko trzyma tylko w pamięci, nic nie pisze na dysku.
Katalogi /var/cache/squid są (sam je sobie zbudował - opcja squid -z), właścicielem katalogów jest proxy, ale nic tam nie zapisuje.
W logach przy starcie pisze:
Cytuj:
2005/07/13 18:06:23| Starting Squid Cache version 2.5.STABLE10 for i586-pc-linux-gnu...
2005/07/13 18:06:23| Process ID 391
2005/07/13 18:06:23| With 1024 file descriptors available
2005/07/13 18:06:23| DNS Socket created at 0.0.0.0, port 32769, FD 6
2005/07/13 18:06:23| Adding nameserver 127.0.0.1 from squid.conf
2005/07/13 18:06:23| Adding nameserver 10.10.10.1 from squid.conf
2005/07/13 18:06:23| Adding nameserver 10.0.0.1 from squid.conf
2005/07/13 18:06:23| Adding nameserver 194.204.152.34 from squid.conf
2005/07/13 18:06:23| User-Agent logging is disabled.
2005/07/13 18:06:23| Referer logging is disabled.
2005/07/13 18:06:23| Unlinkd pipe opened on FD 10
2005/07/13 18:06:23| Swap maxSize 512000 KB, estimated 31 objects
2005/07/13 18:06:23| Target number of buckets: 1
2005/07/13 18:06:23| Using 8192 Store buckets
2005/07/13 18:06:23| Max Mem size: 49152 KB
2005/07/13 18:06:23| Max Swap size: 512000 KB
2005/07/13 18:06:23| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2005/07/13 18:06:23| Store logging disabled
2005/07/13 18:06:23| Rebuilding storage in /var/cache/squid (CLEAN)
2005/07/13 18:06:23| Using Least Load store dir selection
2005/07/13 18:06:23| Current Directory is /
2005/07/13 18:06:23| Loaded Icons.
2005/07/13 18:06:26| Accepting HTTP connections at 0.0.0.0, port 3128, FD 11.
2005/07/13 18:06:26| Accepting HTTP connections at 0.0.0.0, port 8080, FD 12.
2005/07/13 18:06:26| Accepting ICP messages at 0.0.0.0, port 3130, FD 13.
2005/07/13 18:06:26| Accepting HTCP messages on port 4827, FD 14.
2005/07/13 18:06:26| WCCP Disabled.
2005/07/13 18:06:26| Ready to serve requests.
2005/07/13 18:06:26| Done reading /var/cache/squid swaplog (0 entries)
2005/07/13 18:06:26| Finished rebuilding storage from disk.
2005/07/13 18:06:26| 0 Entries scanned
2005/07/13 18:06:26| 0 Invalid entries.
2005/07/13 18:06:26| 0 With invalid flags.
2005/07/13 18:06:26| 0 Objects loaded.
2005/07/13 18:06:26| 0 Objects expired.
2005/07/13 18:06:26| 0 Objects cancelled.
2005/07/13 18:06:26| 0 Duplicate URLs purged.
2005/07/13 18:06:26| 0 Swapfile clashes avoided.
2005/07/13 18:06:26| Took 3.4 seconds ( 0.0 objects/sec).
2005/07/13 18:06:26| Beginning Validation Procedure
2005/07/13 18:06:27| Completed Validation Procedure
2005/07/13 18:06:27| Validated 0 Entries
2005/07/13 18:06:27| store_swap_size = 0k
2005/07/13 18:06:27| storeLateRelease: released 0 objects
Taki zpis jest po każdym restarcie, na dysku nic nie ma, wszystko tylko w RAMie
O co tu chodzi ?, czy to normalne ?

Autor:  przemek_nnd [ czwartek, 14 lipca 2005, 11:25 ]
Tytuł: 

Przejrzyj swoją konfigurację squid.conf
chodzi mi o refresh_pattern
Po za tym daj maila dam Ci mój squid.conf.

Autor:  Alfred [ czwartek, 14 lipca 2005, 16:34 ]
Tytuł: 

Oto mój squid.conf
Cytuj:
http_port 3128 8080
icp_port 3130
pid_filename /var/run/squid.pid

cache_mem 48 MB
store_avg_object_size 16 MB

maximum_object_size 16384 KB

cache_dir ufs /var/cache/squid 500 16 256
cache_log /var/log/squid

dns_nameservers 127.0.0.1 10.10.10.1 10.0.0.1 194.204.152.34

# Tworzę grupę "nasi" której adresem sieciowym jest adres sieci
acl nasi src 10.10.10.0/255.255.255.0 192.168.1.0/255.255.255.0
# Oraz grupę wszystkich adresów sieciowych "all"
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 21 443 563 70 210 280 488 591 1025-65535
acl CONNECT method CONNECT
acl MCONN maxconn 30

# I zezwalam grupie "nasi" na korzystanie z proxy
http_access allow nasi
http_access allow localhost
http_access allow manager localhost

http_access deny manager
# http_access deny to localhost
http_access deny MCONN nasi
http_access deny CONNECT !SSL_ports
http_access deny !Safe_ports
http_access deny all

# Maska sieciowa komputerów klienckich
client_netmask 255.255.255.0

acl FTP proto FTP

# squid nie wtrąca się do FTP
always_direct allow FTP

# aby użytkownicy nie mieli żadnych problemów z ftp
ftp_passive off

# Adres administratora
cache_mgr ao@ao.sytes.net
cachemgr_passwd xxxxx all

httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on

visible_hostname 10.10.10.1

# Logi
cache_log /var/log/squid/cache.log
cache_access_log none
cache_store_log none
# cache_access_log /var/log/squid/access.log
# cache_store_log /var/log/squid/store.log
logfile_rotate 2

# Nie keszujemy obiektów z adresów URL zawierających odniesienia do skryptów CGI
acl QUERY urlpath_regex cgi-bin cgi /?
hierarchy_stoplist cgi-bin ?
no_cache deny QUERY

# reguły odświeżania
refresh_pattern -i (.*jpg$|.*gif$) 0 50% 28800
refresh_pattern -i (.*html$|.*htm|.*shtml) 0 20% 1440
refresh_pattern (http://.*/$) 0 20% 1440
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

# adres pliku z komunikatami o błędach (polskie)
error_directory /etc/squid/errors/Polish

Do przemek_nnd:
Chętnie zobaczę (spróbuję) Twój plik konfiguracyjny squida
(ao@ao.sytes.net)

EDIT
Dla potomnych i żeby nie było niedomówień.
Na przykładzie configa od przemek_nnd (jeszcze raz dzięki), pozmieniałem co nieco i squid zaczął pisać na dysku.
Czyli błąd był w pliku squid.config, ale co dokładnie .... Nie wiem !

Autor:  galdas1 [ sobota, 16 lipca 2005, 13:46 ]
Tytuł: 

galdas1@okulickiego.one.pl

Tez bym prosil o squid.conf bede dzwieczny :)

Autor:  adi [ poniedziałek, 8 sierpnia 2005, 09:13 ]
Tytuł: 

Mam ten sam problem. Squid pracuje ale wszystkie odwołania nie trafiają w cache. Udało mi się doprowadzić do tego, że pliki są zapisywane w cache na dysku, ale co z tego kiedy, wszystkie zapytania wyglądają tak:


1123485100.210 659 192.168.1.0 TCP_MISS/200 27433 GET http://www.wp.pl/ - DIR
1123485100.334 223 192.168.1.0 TCP_MISS/200 805 GET http://wp.hit.gemius.pl/_
1123485100.570 235 192.168.1.0 TCP_MISS/200 295 GET http://wp.hit.gemius.pl/_
1123485100.680 337 192.168.1.0 TCP_MISS/200 1667 GET http://www.wp.pl/rg? - D
1123485100.839 157 192.168.1.0 TCP_MISS/200 335 GET http://adv.wp.pl/RM/ads/a
1123485100.983 250 192.168.1.0 TCP_MISS/200 340 GET http://dot.wp.pl/dot.gif?
1123485101.289 306 192.168.1.0 TCP_MISS/200 340 GET http://dot.wp.pl/dot.gif?
1123485101.919 628 192.168.1.0 TCP_MISS/200 15988 GET http://adv.wp.pl/RealMe
1123485102.057 137 192.168.1.0 TCP_MISS/200 340 GET http://dot.wp.pl/dot.gif?

Autor:  Lysy [ środa, 22 marca 2006, 22:24 ]
Tytuł: 

Witam mam taki probelm ze squidem
Co oznacza w log access.log wpis TCP_MISS:DIRECT na koncu kazdej linijki??
z gory wielkie dzieki za odpowiedzi i pomoc bo dopiero zaczynam przygode z nnd i nie bardzo wiem co jest grane

Autor:  aphex [ czwartek, 23 marca 2006, 12:35 ]
Tytuł: 

a ja uzylem konfiguratora do squida i chyba mi cache zapisuje na dysk :D pliki i katalogi ( tych jest sporo ) w /var/cache/squid oznaczaja ze zapisuje mi go na dysku ??

Autor:  tompl [ czwartek, 23 marca 2006, 14:19 ]
Tytuł: 

jakies pomysly? uzylem tegom konfiguratora, ale nie dopisywal httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
a teraz mi nie zapisuje na dysk...

Autor:  tasiorek [ czwartek, 23 marca 2006, 14:24 ]
Tytuł: 

Nie dopisywal, bo nie wybrales, zeby proxy bylo transparentne. Nie zapisywanie na dysk, to pewnie tez wina zlej konfiguracji.

Autor:  tompl [ czwartek, 23 marca 2006, 15:23 ]
Tytuł: 

tasiorek pisze:
Nie dopisywal, bo nie wybrales, zeby proxy bylo transparentne. Nie zapisywanie na dysk, to pewnie tez wina zlej konfiguracji.

Jak zwykle masz racje:* Poraz kolejny dziekuje serdecznie za pomoc, poprostu w tym konfiguratorze zaznaczalem jedna opcje i potem wychodzil, zmienialem druga a on kasowal tamtego configa i dawal nowego :)

Autor:  aphex [ czwartek, 23 marca 2006, 19:22 ]
Tytuł: 

ja dzis sprawdzilem ze nie zapisuje na dwoch kompach ustawilem proxy w jednym z nich odpalilem jeden z filmikow na servisie youtube.com po wczytaniu pliku i jego obejzeniu odpalilem ten sam link na drugim kompie i nie byl tak szybko odczytany jak powinien bo przeciez z cachu powinien go pobrac testy przeprowadzalem na innych servisach z tym samym rezultatem moj konfig do squida zostal wygenerowany domyslnie z ustawien konfiguratora by ADI :D jesli moglby mi kto powiedziec gdzie co usawic by to sie zapisywalo na dysku bylbym wdzieczny

Cytuj:
# squid.conf
# Opisy by Adi v 0.5 2005-08-18
# Stworzony przez Generator Konfiguracji Squid'a dla NND by Adi'2005
# Wersja generatora: 0.1 z 2005.09.16
# Data i godzina utworzenia pliku: 2006-03-23 14:38:34
# Kopia poprzedniej konfiguracji (jezeli byla): /etc/squid/squid.conf.bac

# Ustawiamy porty na ktorych pracuje squid (http:3128 lub 8080 icp:3130 8082)
http_port 3128
icp_port 3130

# Ustawiamy wielko¶ć pamięci Cache (dla 128 MB RAM'u wystarczy 32 MB)
cache_mem 127 MB

# Ustawiamy srednia oczekiwana (14 KB) i maksymalna wielkosc obiektow (2 MB)
# oraz maksymalna wielkosc obiektu w pamieci (16 KB)
store_avg_object_size 14 KB
maximum_object_size 2048 KB
maximum_object_size_in_memory 16 KB

# Jakiego typu bedzie cache, gdzie bedzie cache na dysku
# ile będzie zajmowal miejsca i jaka bedzie struktura katalogow
cache_dir ufs /var/cache/squid 1016 16 128

# Gdzie Squid ma zapisywać logi wylaczamy zmieniajac sciezke na none
# np: cache_log none
cache_log /var/log/squid/cache.log
cache_access_log none
cache_store_log none

# Ile plikow zapasowych do logow
logfile_rotate 7

# Buforujemy logowanie
buffered_logs on

# Ustawiamy komunikaty o bledach na jezyk polski
error_directory /usr/share/squid/errors/Polish

# Logujemy rowniez zapytania ICP
log_icp_queries on

# Poziom logowania
debug_options ALL,1

# Gdzie ma sie znajdowac plik .pid
pid_filename /var/run/squid.pid

# Poziom uzytkownika na ktorym pracuje squid (musi byc zdefiniowany w systemie)
cache_effective_user proxy
cache_effective_group proxy

# Nazwa routera ( nazwa z pliku /etc/HOSTNAME)
visible_hostname adsl

# Serwery DNS dla Squid'a (pobrane z pliku /etc/resolv.conf)
dns_nameservers 194.204.152.34 217.98.63.164 127.0.0.1

# Korekta odswiezania dla Internet Explorera
ie_refresh on

# Tworzymy grupy i ustawiamy ich parametry
# Grupa all - dla wszystkich uzytkownikow i wszystkich sieci
acl all src 0.0.0.0/0.0.0.0

# Grupa localnet - czyli nasza lokalna siec
acl localnet src 192.168.0.0/255.255.255.0

# Grupa dla Squid'a
acl manager proto cache_object

# Grupa dla routera (localhost)
acl localhost src 127.0.0.1/255.255.255.255

# Wylaczamy obsluge FTP przez Squid'a
acl FTP proto FTP
always_direct allow FTP

# Wylaczamy skrypty CGI z obslugi przez Squid'a
acl QUERY urlpath_regex cgi-bin cgi \?
no_cache deny QUERY

# Zaufane porty, na których będzie pracował Squid
acl SSL_ports port 443 563
acl Safe_ports port 80 21 443 563 70 210 1025-65535
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT

# Ustawiamy warunki dostepow dla zdefiniowanych grup
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localnet
http_access deny all
icp_access allow all

# Reguly odswiezania - zalecany standard dla Squid'a z dodatkami ;-)
refresh_pattern -i (.*jpg$|.*gif$) 0 50% 28800
refresh_pattern -i (.*html$|.*htm|.*shtml) 0 20% 1440
refresh_pattern (http://.*/$) 0 20% 1440
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320


wiem tyle ze zjadl mi sporo ramcu zostawiajac kolo 10% wolnego a sam katalog /var/cache/squid zajmuje zaledwie 4.2 mb
: [/] [] ()
[root@adsl ~]# ls -l -h /var/cache/squid
razem 4,2M
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 00
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 01
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 02
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 03
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 04
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 05
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 06
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 07
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 08
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 09
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 0A
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 0B
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 0C
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 0D
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 0E
drwxr-xr-x  130 proxy proxy 4,0K 2006-03-08 15:47 0F
-rw-r--r--    1 proxy proxy 4,1M 2006-03-23 18:13 swap.state
[quote][/quote]

Autor:  -MW- [ czwartek, 23 marca 2006, 22:15 ]
Tytuł: 

Cytuj:
i nie byl tak szybko odczytany jak powinien


co to znaczy? a z jaka predkoscia polecial? a ile powinien jak ci sie wydaje?

a jaki maxymalny rozmiar pliku zapisuje squid - jaki jest ustawiony?

najlepiej sprawdzac dzilanie squida na stronach z go... du... - tam jest sporo obrazkow o odpowiedniej wielkosi, zapamietywanych w cache.

i przy slabej maszynie i slabym dysku nie poleci z cache szybciej niz 500KB/s (kilo bajtow).

ale to juz swiadczy o poprawnej pracy squida.

Autor:  TheL [ czwartek, 23 marca 2006, 23:41 ]
Tytuł: 

czyli czesto takie cos moze spowolnic uzywanie netu :D a z testem na stronach z go... du... to dobry pomysl bo strony czesto waza bardzo duzo.

Autor:  -MW- [ piątek, 24 marca 2006, 00:40 ]
Tytuł: 

ja wychodze z zalozenia ze jesli nawet dane z cache squida leca z minimala predkoscia bo sa przyciete przez nice czy htb to i tak warto uzywac owe zwierzatko opniewaz zawsze jest to z routera a nie z netu.

tak czy inaczej odciaza lacze - czytaj zmniejsza ping - z obserwacji ruchu na imq widze ze jest to zaledwie 10% - ale patrze to w sieci liczacej zaledwie 20 osob, jak narazie boje sie wzucic skrypt na router do nieco wiekszej bo 90 osobowej sieci. tam roznica bedzie zapewne znaczna.
jeli przez jakis czas nie wyskocza mi zadne bledy na routerze ktory mam pod reka to napewno zdalnie przeniose go w miejsce oddalone ode mnie o kilkadziesiat kilometrow :)

najwieksza predkosc jaka odnotowalem z cache to okolo 650KB/s

Autor:  przemek_nnd [ piątek, 24 marca 2006, 01:05 ]
Tytuł: 

Mój squid.conf
: [/] [] ()
#    Witamy w SQUID 2.5 STBLE 12
#   Ver 0.1 (30.06.2005)
#   Edit by przemek_nnd + podpowiedzi bogdana
#   Transparent proxy dla sieci 192.168.1.0 na porcie 8080
#   Domy¶lnie zablokowane access.log, user-agent, referer-logging
#   
# OPCJE SIECIOWE
# -----------------------------------------------------------------------------

#  TAG: http_port
#   Usage:   port
#      hostname:port
#      1.2.3.4:port
#Port, na którym pracuje SQUID.
#Default:
http_port 8080



# icp_port 0


# htcp_port 4827


# udp_incoming_address 0.0.0.0
# udp_outgoing_address 255.255.255.255



# Nadrzedne proxy - uzywamy proxy z TPSA - jezeli mamy od nich lacze
# czesc danych, ktore przychodza z innych sieci lub spoza kraju
# powinna do nas dotrzec szybciej Wylaczamy z tego polaczenia lokalne
#cache_peer w3cache.tpnet.pl parent 8080 8082 no-query default
#cache_peer_domain w3cache.tpnet.pl !192.168.1.0/255.255.252.0 !192.168.1.1




dead_peer_timeout 15 seconds

#++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
# Włanczamy keszowanie cgi
hierarchy_stoplist cgi-bin ?
# nie buforuj cgi i RealAudio :
acl QUERY urlpath_regex cgi-bin .ra
acl QUERY urlpath_regex cgi-bin \? .ra
no_cache deny QUERY





# nie buforuj plików sieci lokalnej:
acl no_localnet dst 192.168.1.0/24
no_cache deny no_localnet


################### BLOKOWNIE
# blokowanie dostepu do Squida dla wybranego hosta 192.168.0.5 oraz 0.10 :
#acl blok_ip src 10.179.187.41/32
#acl blok_ip src 192.168.0.10/32
#http_access deny blok_ip
################### UPOMNIENIE
# Komunikat dla nie płac±cych za Internet.
# Host 10.179.186.41 ,któremu pokazany będzie komunikat UPOMNIENIE z katalogu /squid/share/errors/Polish:
# acl zaplata src 192.168.1.2/32
# deny_info UPOMNIENIE zaplata
# http_access deny zaplata
#################### UPOMNIENIE

#Ilo¶ć pamięci RAM dostępnej dla programu

cache_mem 25 MB


cache_swap_low 75
cache_swap_high 90

#  TAG: maximum_object_size   (bytes)
#   Maksymalna wielko¶ć obiektów które będ± składowane przez proxy,
#   jeżeli chcemy przyspieszyć tylko działanie stron internetowych
#   ustawiamy t± wielko¶ć do¶ć nisko. W tym przypadku to 1 MB, przy
#   wyj¶ciu z założenia że nie potrzebne jest keszowanie plików ¶ci±ganych
#   z www, i przy niezbyt wielkiej przestrzeni dyskowej przeznaczonej na cache więcej Mii nie trzeba
#
#   NOTE: if using the LFUDA replacement policy you should increase
#   this value to maximize the byte hit rate improvement of LFUDA!
#   See replacement_policy below for a discussion of this policy.
#
#Standardowo 1024 KB
maximum_object_size 320 KB
#Chyba tłumaczyć nie trzeba
minimum_object_size 0 KB


# maximum_object_size_in_memory 8 KB


# ipcache_size 1024
# ipcache_low 90
# ipcache_high 95


# fqdncache_size 1024

#  TAG: cache_replacement_policy
#
#############################################################
# Cache Squida  zapełnia sie systematycznie.Po pewnym czasie należy więc usun.ć
# zbędne objekty.Domy.lna polityka `LRU`,usuwa z cache(oraz z pamięci RAM)
# objekty o najdawniejszym dostępie do nich,niezależnie od ich rozmiaru.
# heap LFUDA działa inaczej,pozostawiaj.c najbardziej popularne obiekty,
# wzrasta przy tym prawdopodobieństwo znalezienia w cache(trafienia)
# większych objektów(należy tutaj zwiększyć wielko.ć buforowanych plików
# dyrektyw.: `maximum_object_size` przynajmniej do warto.ci 8192 KB)
# LFUDA obci.ża w nieco mniejszym stopniu procesor.
# Odwrotno.ci. heap LFUDA ,jest polityka heap GDSF.Istnieje większe
# prawdopodobieństwo trafienia małych obiektów.Można zastosować do
# zarz.dzania objektami np. w pamięci RAM.
# GDSF zatrzymuje w cache niewielkie popularne obiekty
#Default:
# cache_replacement_policy lru
cache_replacement_policy heap LFUDA

memory_replacement_policy heap GDSF


# LOGI i CACHE
# -----------------------------------------------------------------------------

#  TAG: cache_dir
#   Usage:
#
#   Ta opcja definiuje ¶cieżkę do katalogu cache który jest katalogiem roboczym squid'a,
#   jego wielko¶ć i strukturę. ¦cieżka u Mnie do /mnt/ext/cache prowadzi do katalogu na
#   partycji ext2, której założenie opisałem  poprzednio. Kałamarnica lepiej się czuje na partycji
#   linux'owej. Pierwsza liczba po ¶cieżce dostępowej mówi nam o rozmiarze cache w megabajtach.
#   I tu istnieje wiele rozbieżnych opinii na ten temat. Osobi¶cie uważam że nie ma zbyt wielkiego
#   sensu robić ogromnych rozmiarów keszu, maj±c ¶wiadomo¶ć że większy zasób zmagazynowanych plików
#   jest trudniejszy do przeszukania i przy prędko¶ci transferów dyskowych FreeSCO kluczow± rolę odgrywa
#   pamięć, nie ma sensu gromadzić dużo. Lepiej czę¶ciej od¶wieżać  cache. Następne dwie cyfry
#   definiuj± na drzewo katalogów w którym gromadzone będ± pliki. Mój przykład to 16 podkatalogów
#   w 16 katalogach. Tu też kłania się teza że im więcej katalogów tym trudniej (i dłużej) je przeszukiwać jest.
#   Nam przecież chodzi o jak największ± wydajno¶ć a nie ogromnych rozmiarów magazyn z niepotrzebnymi rzeczami...
#   Standardowo: cache_dir ufs /var/cache/squid 100 16 256

cache_dir ufs /var/squid/cache 100 16 32



# cache_access_log /var/log/squid/access.log

cache_access_log none



cache_log /var/log/squid/cache.log


#cache_store_log /var/log/squid/store.log

cache_store_log none



# emulate_httpd_log off


# log_ip_on_direct on


mime_table /etc/squid/mime.conf



pid_filename /var/run/squid.pid


debug_options ALL,1


client_netmask 255.255.255.0



ftp_passive off



#  TAG: dns_nameservers
#   Adresy serwerów DNS, w tym przykładzie to serwery TPSA ale jeżeli twój provider,
#   inny niż TPSA ma swe własne DNS'y to powiniene¶ je tu umie¶cić. Natomiast jeżeli sam
#   posiadasz serwer DNS, choćby tylko cached-only (tryb buforowania), możesz podać tutaj jego adres.
#   Jednak zdarzyło mi się poddać się problemowi nie działania adresu wewnętrznego serwera DNS
#   (w formie 192.168.0.1). W tym wypadku pomogło podanie jako DNS adresu pętli wewnętrznej
#   (loopback) 127.0.0.1. Jeżeli u siebie miałem podane DNS'y TPSA to znacznie czę¶ciej następowało
#   zrywanie wczytywania strony, trzeba było od¶wieżać. Przy własnym DNS ten problem też występuje,
#   ale raczej sporadycznie. Optymalnym rozwi±zaniem jest wpisanie kilku DNS'ów. Ja mam taki wpis:
#   dns_nameservers 127.0.0.1 194.204.159.1 194.204.152.34 193.110.121.20
#   Czyli najpierw własny, a potem tepsowe.

dns_nameservers 127.0.0.1 212.85.112.37 213.25.47.166 194.204.152.34 194.204.159.1

# przykładowe domeny do testowania poprawnosci działania DNS:
dns_testnames wp.pl gazeta.pl onet.pl

hosts_file /etc/hosts

diskd_program /usr/lib/squid/diskd

unlinkd_program /usr/lib/squid/unlinkd


redirect_rewrites_host_header off


#Recommended minimum configuration:
#auth_param digest program <uncomment and complete this line>
#auth_param digest children 5
#auth_param digest realm Squid proxy-caching web server
#auth_param digest nonce_garbage_interval 5 minutes
#auth_param digest nonce_max_duration 30 minutes
#auth_param digest nonce_max_count 50
#auth_param ntlm program <uncomment and complete this line to activate>
#auth_param ntlm children 5
#auth_param ntlm max_challenge_reuses 0
#auth_param ntlm max_challenge_lifetime 2 minutes
#auth_param ntlm use_ntlm_negotiate off
#auth_param basic program <uncomment and complete this line>
auth_param basic children 5
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off


# authenticate_cache_garbage_interval 1 hour


# authenticate_ttl 1 hour


# authenticate_ip_ttl 0 seconds




request_header_max_size 10 KB


request_body_max_size 0 KB


# Reguły od.wieżania :
# 1440 minuty=24godz
# 4320=72godz=3dni
# 10080=168godz=7dni


refresh_pattern -i (.*jpg$|.*gif$|.*png$) 0 50% 28800
refresh_pattern -i (.*html$|.*htm|.*shtml) 0 20% 1440
refresh_pattern (http://.*/$) 0 20% 1440
# override-expire override-lastmod reload-into-ims   
# dobierz do¶wiadczalnie
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern \.gif$  1440    50%     4320
# URL, które maj± przynajnmniej 1 znak,a więc wszystkie obiekty s± buforowane(mówi o tym kropka):
refresh_pattern . 1440 20% 4320




positive_dns_ttl 72 hours

# wył.czenie automatycznego dociagania pliku przez Squida,
# po przerwaniu downloadu przez uzytkownika :
#Default:
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 100


# negative_ttl 5 minutes





# negative_dns_ttl 1 minute


# range_offset_limit 0 KB



connect_timeout 180 seconds


peer_connect_timeout 40 seconds


read_timeout 5 minutes


request_timeout 2 minutes


# persistent_request_timeout 1 minute


client_lifetime 1 day


half_closed_clients on


pconn_timeout 120 seconds


# ident_timeout 10 seconds



shutdown_lifetime 10 seconds

acl users src 192.168.1.0/24  #moja sieć

acl localhost src 127.0.0.1/32

acl to_localhost dst 127.0.0.0/8

acl SSL_ports port 443 563 5190
acl Safe_ports port 80      # http
acl Safe_ports port 21      # ftp
acl Safe_ports port 443 563   # https, snews
acl Safe_ports port 70      # gopher
acl Safe_ports port 210      # wais
acl Safe_ports port 1025-65535   # unregistered ports
acl Safe_ports port 280      # http-mgmt
acl Safe_ports port 488      # gss-http
acl Safe_ports port 591      # filemaker
acl Safe_ports port 777      # multiling http
acl CONNECT method CONNECT
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object

#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
# Można wykorzystać Squida do filtrowania niepoż.danej tre.ci.
# Blokuj.c dostęp do stron zawieraj.cych słowo sex ,blokujemy również stronę
# nie maj.c. nic wspólnego z sexem,np: http://essex.com , czy też zawieraj.c. słowo sextans.
# Aby tego unikn.ć, należy utworzyć plik w którym wpiszemy słowa,
# które będ. pomijane.Przykładowy plik  /usr/local/squid/nie_blok.txt
# zawiera  słowa:  essex  sextans   .Tworzymy regułę:
# acl nie_blok url_regex -i "/usr/local/squid/nie_blok.txt"
# http_access allow nie_blok
# blokowanie dostępu w/g słów kluczowych znajduj.cych się w pliku blok.txt,
# każde słowo wpisane jest w osobnej linii :
# acl blok url_regex -i "/usr/local/squid/blok.txt"
# dla adresów wpisanych do pliku porn_tak.txt, nie działa blokada dostępu:
# acl porn_tak src "/usr/local/squid/porn_tak.txt"
# http_access allow porn_tak
# http_access deny blok
#
#

http_access allow users
http_access allow manager localhost
# dostęp tylko na wybranych portach : acl Safe_ports :
http_access deny !Safe_ports
http_access deny CONNECT !Safe_ports
icp_access allow all
#http_access deny CONNECT !SSL_ports
#http_access deny manager
# blokada dostepu do localhosta ,podnosi bezpieczenstwo systemu,
# uniemożliwiaj.c dostęp dla niepoż.danych aplikacji :
http_access deny to_localhost
http_access deny all




# Deny requests to unknown ports



# Deny CONNECT to other than SSL ports







#http_reply_access allow all

# icp_access deny all
# miss_access allow all
# reply_header_max_size 20 KB


#   Ustawia maksymalny rozmiar odpowiedzi w przypadku pobierania strony www.
#   W zastosowaniu służy do ustawienia maksymalnej wielko¶ci pliku który może być pobrany
#   z serwera http. Łopatologicznie oznacza to że nikt nie ¶ci±gnie większego pliku niż zadana warto¶ć
#   z jakiejkolwiek strony. Jeżeli będzie zadane 0 to oznacza bez limitu. Nie dotyczy to FTP.
#Standardowo:
# reply_body_max_size 0 allow all



#Default: Podaj swój adres e-mail

cache_mgr dataline@poczta.onet.pl
#Przykład cachemgr_passwd tajne all
cachemgr_passwd xxxx all

cache_effective_user proxy
cache_effective_group proxy

#  TAG: visible_hostname
#   Nazwa routera, która będzie pokazywać się w komunikatach

visible_hostname serwer

#  TAG: unique_hostname
#   If you want to have multiple machines with the same
#   'visible_hostname' you must give each machine a different
#   'unique_hostname' so forwarding loops can be detected.
#
#Default:
# none

#  TAG: hostname_aliases
#   A list of other DNS names your cache has.
#
#Default:
# none



#Tworzymy virtualne proxy

httpd_accel_host virtual
httpd_accel_port 80


httpd_accel_single_host off

httpd_accel_with_proxy on
httpd_accel_uses_host_header on


# httpd_accel_no_pmtu_disc off



# dns_testnames netscape.com internic.net nlanr.net microsoft.com

#  TAG: logfile_rotate
#   Rotacja logów

logfile_rotate 2


# append_domain .yourdomain.com
#

# tcp_recv_bufsize 0 bytes


# memory_pools_limit 5 MB


forwarded_for off


log_icp_queries off

# icp_hit_stale off


# minimum_direct_hops 4


# minimum_direct_rtt 400


#   Hasło dla usera podanego powyżej, potrzebne do zalogowania się na panel kontrolny squida (www).
#   All oznacza dostęp do wszystkiego w takowym panelu. Inne opcje (info stats/objects, shutdown) do
#   opanowania we własnym zakresie. Słowo "tajne" jest oczywi¶cie tylko przykładem.
#



#¦redni rozmiar obiektu cache'wanego
#Default:
#store_avg_object_size 13 KB


# store_objects_per_bucket 20


# client_db on


# netdb_low 900
# netdb_high 1000


# netdb_ping_period 5 minutes


# query_icmp off


# test_reachability off


# buforowanie logów zwiększy nieco prędko.ć Squida:

buffered_logs on


# reload_into_ims off


# squid nie wtr±ca się do FTP

acl FTP proto FTP
always_direct allow FTP



# zapytania wychodz.ce ze Squida wygl.daj., jakby wychodziły
# z jednej przegl.darki(Mozilla):
#header_access User-Agent deny all
#header_replace User-Agent Mozilla/5.0 (Windows; U; Win98; pl-PL; rv:1.5a) Gecko/20030719



icon_directory /usr/share/squid/icons


# short_icon_urls off


error_directory /usr/share/squid/errors/Polish


# maximum_single_addr_tries 1


# retry_on_error off


# snmp_port 3401


# snmp_access deny all



# DELAY POOL PARAMETERS (all require DELAY_POOLS compilation option)
# -----------------------------------------------------------------------------

#  TAG: delay_pools
#   This represents the number of delay pools to be used.  For example,
#   if you have one class 2 delay pool and one class 3 delays pool, you
#   have a total of 2 delay pools.
#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
# download w lanie nie jest ograniczany:
# acl nolimit url_regex -i 192.168
# download dla 192.168.1.2 nie jest ograniczany :
# acl nolimitip src 192.168.1.2/24
# ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
# pliki ograniczane:
# download w lanie nie jest ograniczany:
#acl nolimit url_regex -i 192.168
# download dla 192.168.1.2 nie jest ograniczany :
# acl nolimitip src 192.168.1.2/32
# pliki ograniczane:
#acl limit url_regex -i ftp .zip .tgz .bin .pdf .exe .mp3 .wma .vqf .tar.gz .gz .rpm .rar .avi .mpeg .mpe .mpg .qt .ram .rm .iso .raw .wav .mov .torrent
#
#delay_pools 2
#
# pool nr1 nie ogranicza transferu:
#delay_class 1 2
#delay_parameters 1 -1/-1 -1/-1
#delay_access 1 allow nolimit
# delay_access 1 allow nolimitip
#
# pool nr2 dla lanu pod Neostrada lub DSL:
#delay_class 2 2
# Ograniczenie transferu wybranych plik·w do 40KB/s dla lanu
# oraz 18KB/s dla hosta w lanie:
#delay_parameters 2 50000/1000000 18000/100000
#delay_access 2 allow limit

#  TAG: delay_class
#   This defines the class of each delay pool.  There must be exactly one
#   delay_class line for each delay pool.  For example, to define two
#   delay pools, one of class 2 and one of class 3, the settings above
#   and here would be:
#
#Example:
# delay_pools 2      # 2 delay pools
# delay_class 1 2    # pool 1 is a class 2 pool
# delay_class 2 3    # pool 2 is a class 3 pool
#



coredump_dir /var/squid/cache


# redirector_bypass off

# ignore_unknown_nameservers on


# digest_generation on


# digest_bits_per_entry 5


# digest_rebuild_period 1 hour


# digest_rewrite_period 1 hour


# digest_swapout_chunk_size 4096 bytes

# digest_rebuild_chunk_percentage 10


# Rozwi±zanie problemu z FlashGetem
client_persistent_connections off

server_persistent_connections off


# detect_broken_pconn off


# balance_on_multiple_ip on


# pipeline_prefetch off

# obejscie buga internet explorera 5.5 i 5.5SP1
ie_refresh on


# vary_ignore_expire off


sleep_after_fork 2000


# relaxed_header_parser on

#++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
#Aby zadziałało automatycznie proxy w przegl±darkach - bez żadnego dłubania dodaj komendę:
# iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 REDIRECT --to-port 8080
#  potem komenda dla zachowania tego: /etc/rc.d/iptables save
########################################
# Komunikat informujacy o zakazie dostępu,można dostosować do własnych potrzeb,
# wstawiaj.c do katalogu /usr/local/squid/share/errors/Polish
# własny plik ERR_ACCESS_DENIED. Przykładowy plik umie.ciłem.
# Nazwa oryginalnego zmieniona na ERR_ACCESS_DENIED_ORYGINAL
# Oczywiscie,nazwa może być inna, dostosowana do potrzeby,
# jak we wcze.niejszym przykładzie UPOMNIENIE,
# przypominaj.c użytkownikom sieci o zapłacie za internet.
################################### TOS #########################################
#zph_tos_local 8
#zph_tos_peer 0
#zph_tos_parent off

Autor:  tompl [ poniedziałek, 22 maja 2006, 10:34 ]
Tytuł:  Czyszczenie cache

Mozecie napisac jak wyszyscic cache ze squida tak aby powyrzucal najmniej uzywane pliki ze stron? Zapchal mi troche juz dysk i jest ponad ustawiona granica co pokazuja logi:
2006/05/22 10:06:41| WARNING: Disk space over limit: 3326117 KB > 3072000 KB
2006/05/22 10:06:52| WARNING: Disk space over limit: 3325477 KB > 3072000 KB



Mam jeszcze watpliwosci o dzialaniu mojego squida, poniewaz wchodzac na www o blednym adresie pokazuje mi sie informacja standardowa z IE, a nie ze squida. Jak ustawie recznie squida to wtedy juz normalnie squid wyswietla brak strony.

Autor:  tompl [ poniedziałek, 22 maja 2006, 13:36 ]
Tytuł: 

teraz mam problemy z otwieraniem stron w IE. poprostu niechce, pokazuje " wykrywanie proxy" i nic. Prosze pilnie o pomoc

Autor:  silencer [ czwartek, 7 września 2006, 12:10 ]
Tytuł: 

Ja również miałbym prośbę o informację jak to jest z tym czyszczeniem cache squida na hdd , niby jest w squid.conf sekcja na ten temat, ale od czego zależy kiedy ten cache jest czyszczony, co pewien okres czasu? (tylko gdzie się to ustawia) czy też automatycznie przy osiągnieciu max granicy pojemności? (ale dlaczego wtedy pojawiają sie komunikaty o przekroczeniu limitu). Mam cache na dysku ustawione na 256 MB, czy to za mało?

Autor:  MAC!EK [ czwartek, 7 września 2006, 21:22 ]
Tytuł: 

silencer pisze:
Mam cache na dysku ustawione na 256 MB, czy to za mało?


IMO tak

Autor:  silencer [ czwartek, 7 września 2006, 21:42 ]
Tytuł: 

Dzieki za wyczerpującą odpowiedź, dużo się dowiedziałem. :?

Strona 1 z 2 Strefa czasowa UTC+2godz.
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/