Freesco, NND, CDN, EOS :: Wyświetl temat - Dziwny upload przy HTB Zciech'a

192.168.1.26 768 96 768 96 768 96

WANINT=eth0             # iterfejs do internetu
LANINT=eth1             # interfejs do Lanu
WANDOWN=4096            # Download w kbit/s
WANUP=512               # Upload w kbit/s
P2P_ON=1                # Wlaczenie klasy p2p - 1
P2PDOWN=128             # max download p2p w kbit/s
P2PUP=32                # max upload p2p w kbit/s
LANSPD=10000            # LAN  w [kbit/s]
ICMPSPD=25              # Predkosc dla klasy ICMP (rate)
SERVSPD=15              # Predkosc dla gosci (rate)
PRIOPORT=22             # Port priorytetowy
SQUID_PORT="3128"       # Port squida jesli masz, jesli nie zostaw pusty
SFQ=ESFQ                # Wybor SFQ/EFSQ

GeSHi © Codebox Plus

: [/] [] ()

 # Pasmo dla p2p
  $h class add dev $LANINT parent 1:2 classid 1:5 htb rate ${USERDOWN}kbit ceil ${P2PDOWN}kbit prio
  $h qdisc add dev $LANINT parent 1:5 $SFQ_LAN
  $h class add dev $WANINT parent 2:1 classid 2:5 htb rate ${USERUP}kbit ceil ${P2PUP}kbit prio 6 qu
  $h qdisc add dev $WANINT parent 2:5 $SFQ_WAN
 if [ $pora != 3 -a $P2P_ON = 1 ];then

    $i -t mangle -A PREROUTING -p tcp -j CONNMARK --restore-mark
    $i -t mangle -A PREROUTING -m ipp2p --ipp2p -j MARK --set-mark 2
#    $i -t mangle -A PREROUTING -i $LANINT -m ipp2p --ipp2p -j MARK --set-mark 2
#    $i -t mangle -A PREROUTING -i $WANINT -m ipp2p --ipp2p -j MARK --set-mark 2
    $i -t mangle -A PREROUTING -p tcp -m mark --mark 2 -j CONNMARK --save-mark

#  $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 1024:6110 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 1024:6110 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 6113:6664 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 6113:6664 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 6670:8073 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 6670:8073 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 8075:8499 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 8075:8499 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 8501:65535 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 8501:65535 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $LANINT -p udp --dport 1024:65535 -j MARK --set-mark 2
#  $i -t mangle -A PREROUTING -i $WANINT -p udp --sport 1024:65535 -j MARK --set-mark 2
  $h filter add dev $LANINT parent 1:0 protocol ip prio 4 handle 2 fw flowid 1:5
  $h filter add dev $WANINT parent 2:0 protocol ip prio 4 handle 2 fw flowid 2:5
 fi

GeSHi © Codebox Plus

: [/] [] ()

$h class add dev $WANINT parent 2:1 classid 2:5 htb rate ${USERUP}kbit ceil ${P2PUP}kbit prio 6 qu

GeSHi © Codebox Plus

: [/] [] ()

${USERUP}kbit ceil ${P2PUP}kbit

GeSHi © Codebox Plus

: [/] [] ()

2kbit ceil ${P2PUP}kbit

: [/] [] ()

# ruch dla gosci
 $h class add dev $WANINT parent 2:1 classid 2:3 htb rate ${SERVSPD}kbit ceil TUWSTAWMNIEJSZAWARTOSCkbit prio 5 quantum 1500
 $h qdisc add dev $WANINT parent 2:3 $SFQ_WAN
 $h filter add dev $WANINT parent 2:0 protocol ip prio 6 handle 1 fw flowid 2:3
 
 $i -t mangle -A OUTPUT -o $WANINT -j MARK --set-mark 1     

: [/] [] ()

root@serwer:~$iptables -t mangle -L PREROUTING  -nv
Chain PREROUTING (policy ACCEPT 38M packets, 17G bytes)
 pkts bytes target     prot opt in     out     source               destination
 9268  794K MARK       all  --  *      *       192.168.0.11           0.0.0.0/0           MARK set 0x4
    0     0 MARK       all  --  *      *       192.168.0.12           0.0.0.0/0           MARK set 0x5
    0     0 MARK       all  --  *      *       192.168.0.13           0.0.0.0/0           MARK set 0x6
    0     0 MARK       all  --  *      *       192.168.0.14           0.0.0.0/0           MARK set 0x7
82190   12M MARK       all  --  *      *       192.168.0.15           0.0.0.0/0           MARK set 0x8
   13  2977 MARK       all  --  *      *       192.168.0.16           0.0.0.0/0           MARK set 0x9
    0     0 MARK       all  --  *      *       192.168.0.17           0.0.0.0/0           MARK set 0xa
    0     0 MARK       all  --  *      *       192.168.0.18           0.0.0.0/0           MARK set 0xb
    0     0 MARK       all  --  *      *       192.168.0.20           0.0.0.0/0           MARK set 0xc
    0     0 MARK       all  --  *      *       192.168.0.21           0.0.0.0/0           MARK set 0xd
    5  1244 MARK       all  --  *      *       192.168.0.26           0.0.0.0/0           MARK set 0xe

Autor:	adi [ niedziela, 18 czerwca 2006, 19:10 ]
Tytuł:	Dziwny upload przy HTB Zciech'a
Często zauważam taką sytuację, sumaryczny upload nie zgadza się z jednostkowym konkretnych osób. Odpalony squid, mrtg, htb i arp pilnuje adresów (napewno nic nie idzie na lewo). Oczywiście upload się przytyka pomimo tego że nikt nic nie wysyła. Sytuacja trwa jakiś czas (kilkanaście, kilkadziesiąt minut) - potem wszystko wraca do normy. Nie ma żadnego www, ftp itp co mogłoby zwiększać upload. Czy ktoś się z tym spotkał i jak to rozwiązać. Tutaj screen przykładowy: http://www.adi.internetdsl.pl/nnd/fotki/htb.jpg

Autor:	zciech [ niedziela, 18 czerwca 2006, 19:40 ]
Tytuł:
Obawiam sie ze nie masz racji. Róznica wynosi 1278 B na 60 sekund co daje 23B/s A ta 30 to ktos sobie cos od ciebie sciaga, lub twoj serwer wysyla (pewnie proxy)

Autor:	viater [ niedziela, 18 czerwca 2006, 20:26 ]
Tytuł:
A możesz zdradzić która wersja statystyk daje taki output ? Szukam i szukam i za cholere znależć nie mogę. A co do pytania: nie ma co patrzeć na wartości w kB(ajtach)/s. Po pierwsze wartość transferu podawana w statach to jest średnia w ciągu określonego czasu (minuta ?). I teraz zauważ, np. dla linijek 2. i 4. od końca transfer średni jest 0 (bo wyszło np 0,4999), ale widać, że coś tam przez tę minutę przeleciało (odpowiednio: 6872 i 9504 bit). Teraz jak zsumujesz te wszystkie bity alles zuzammen do kupy to wychodzi już "konkretna liczba". Chodzi mi o to, że nieścisłość, o którą ci chodzi, wynika po pierwsze z uśrednienia i po drugie z zaokrągleń.

Autor:	adi [ poniedziałek, 19 czerwca 2006, 06:47 ]
Tytuł:
zciech pisze: A ta 30 to ktos sobie cos od ciebie sciaga, lub twoj serwer wysyla (pewnie proxy) Nie chodziło mi o tą różnicę tylko o te 30. Nikt nic nie ściaga bo nie ma co ściagać. Objaw jest wyraźny - zatkany upload powoduje problemy ze stronkami, z putty (z zewnątrz) itp. Co może wysyłać proxy (squid) w takich ilościach (prędkośc x czas występowania)?

Autor:	KrzySie [ środa, 21 czerwca 2006, 09:37 ]
Tytuł:
Może pozwoliłeś squidowi pracować na interfejsie zewnętrznym i KTOŚ go używa jako anonym proxy? Ewentualnie ktoś ściąga coś z twojej strony.

Freesco, NND, CDN, EOS http://forum.freesco.pl/

Dziwny upload przy HTB Zciech'a http://forum.freesco.pl/viewtopic.php?f=22&t=12785	Strona 1 z 2

Autor:	adi [ piątek, 23 czerwca 2006, 17:59 ]
Tytuł:
Przecież napisałem że nie mam tam żadnej strony. NIC tam nie chodzi. To typowy ROUTER bez żadnych maili, apachów itp A squid chodzi na interfejsie wewnętrznym napewno. Właśnie dlatego o tym piszę, bo to dziwne nieco jest.

Autor:	KrzySie [ piątek, 23 czerwca 2006, 18:26 ]
Tytuł:
adi pisze: Przecież napisałem że nie mam tam żadnej strony. NIC tam nie chodzi. To typowy ROUTER bez żadnych maili, apachów itp A squid chodzi na interfejsie wewnętrznym napewno. Właśnie dlatego o tym piszę, bo to dziwne nieco jest. Jak nie masz choćby thttpd, to czym to oglądasz? Używam tych samych statów i kolejkowania od kilku dni, też zauważyłem podobne objawy z tym, że mam apacha i w odróżnieniu od thttpd loguje wszystkie połączenia. Mam udostępnione np. kilka zrzutów ekranów nawet na tym forum i oglądane powodują zwiększenie uploadu.

Autor:	zciech [ piątek, 23 czerwca 2006, 18:29 ]
Tytuł:
iptables -I INPUT -i eth0 -j LOG i/lub iptables -I OUTPUT -o eth0 -j LOG a potem tylko przejzec logu serwera kto z/na jakie porty cignal. jesli nic nie bedzie to znaczy ze masz kogos kto nie jest wpisany do htb i jego transfer zasuwa klasami domyslnymi moze jakis cfaniczek zmienia sobie IP. A może ktos wysyla pliki przez twojego squida

Autor:	adi [ sobota, 24 czerwca 2006, 10:03 ]
Tytuł:
zciech pisze: moze jakis cfaniczek zmienia sobie IP. A może ktos wysyla pliki przez twojego squida firewall i arp pilnuję tego - dokładnie to samo jest w arpie i w firewallu i w htb (uzytkownicy). Ale sprawdzę te logi i napiszę co jest PYTANIE1 - co wchodzi w zakres klasy Serwer-Usługi dla uploadu? PYTANIE2 - co rozumiesz przez: "wysyla pliki przez twojego squida" ?

Autor:	adi [ sobota, 22 lipca 2006, 18:59 ]
Tytuł:
Sorki za nstępny post. Akurat złapałem sprawę - wygląda to tak, z łącza wychodzi max co można - można to zobaczyć poniżej na statach z htb: Namierzyłem "odpowiedzialnego" tych czynów, mam go tutaj, jak widać jego upload podchodzi pod 60 KB/sek (najciekawsze że w statach powyżej go nie widać!): Teraz ustawienia: 1. Włączone htb Zciech'a 2. w htb.conf mamy wpis: : [/] [] () 192.168.1.26 768 96 768 96 768 96 GeSHi © Codebox Plus 3. w htb następujące ustawienia: : [/] [] () WANINT=eth0 # iterfejs do internetu LANINT=eth1 # interfejs do Lanu WANDOWN=4096 # Download w kbit/s WANUP=512 # Upload w kbit/s P2P_ON=1 # Wlaczenie klasy p2p - 1 P2PDOWN=128 # max download p2p w kbit/s P2PUP=32 # max upload p2p w kbit/s LANSPD=10000 # LAN w [kbit/s] ICMPSPD=25 # Predkosc dla klasy ICMP (rate) SERVSPD=15 # Predkosc dla gosci (rate) PRIOPORT=22 # Port priorytetowy SQUID_PORT="3128" # Port squida jesli masz, jesli nie zostaw pusty SFQ=ESFQ # Wybor SFQ/EFSQ GeSHi © Codebox Plus 4. Łącze to DSL 4 MBIT (4096/512 kbit) 5. Ustawienia dla p2p: : [/] [] () # Pasmo dla p2p $h class add dev $LANINT parent 1:2 classid 1:5 htb rate ${USERDOWN}kbit ceil ${P2PDOWN}kbit prio $h qdisc add dev $LANINT parent 1:5 $SFQ_LAN $h class add dev $WANINT parent 2:1 classid 2:5 htb rate ${USERUP}kbit ceil ${P2PUP}kbit prio 6 qu $h qdisc add dev $WANINT parent 2:5 $SFQ_WAN if [ $pora != 3 -a $P2P_ON = 1 ];then $i -t mangle -A PREROUTING -p tcp -j CONNMARK --restore-mark $i -t mangle -A PREROUTING -m ipp2p --ipp2p -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $LANINT -m ipp2p --ipp2p -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $WANINT -m ipp2p --ipp2p -j MARK --set-mark 2 $i -t mangle -A PREROUTING -p tcp -m mark --mark 2 -j CONNMARK --save-mark # $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 1024:6110 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 1024:6110 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 6113:6664 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 6113:6664 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 6670:8073 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 6670:8073 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 8075:8499 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 8075:8499 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $LANINT -p tcp --dport 8501:65535 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $WANINT -p tcp --sport 8501:65535 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $LANINT -p udp --dport 1024:65535 -j MARK --set-mark 2 # $i -t mangle -A PREROUTING -i $WANINT -p udp --sport 1024:65535 -j MARK --set-mark 2 $h filter add dev $LANINT parent 1:0 protocol ip prio 4 handle 2 fw flowid 1:5 $h filter add dev $WANINT parent 2:0 protocol ip prio 4 handle 2 fw flowid 2:5 fi GeSHi © Codebox Plus 6. IPP2P v0.7.2 (Po zmianie na ipp2p 0.8.0 i restartcie htb - bez zmian...) Zastanawiam się którędy to przecieka, jesli ta osoba ma taki limit ustawiony?

Autor:	KrzySie [ sobota, 22 lipca 2006, 19:08 ]
Tytuł:
Przerabiałem to trochę i niespójność kodu może wystąpić tutaj : [/] [] () $h class add dev $WANINT parent 2:1 classid 2:5 htb rate ${USERUP}kbit ceil ${P2PUP}kbit prio 6 qu GeSHi © Codebox Plus Czyli USERUP może być większe od P2PUP Zmień : [/] [] () ${USERUP}kbit ceil ${P2PUP}kbit GeSHi © Codebox Plus na przykładowe : [/] [] () 2kbit ceil ${P2PUP}kbit GeSHi © Codebox Plus

Autor:	zciech [ sobota, 22 lipca 2006, 20:29 ]
Tytuł:
Klasa 2:3 to ruch z SERWERA do INTERNETU np. z twiojej strony www albo ftp-a do mnie. jak gosc ma torrenta i wysyla cos na innego torenta gdzie user ustawil port 80 to pakiety zasuwaja przez twojego squida i dla htb to nie 1.26 je wysyla tylko serwer. a klasa ta ma ceil=max lacza : [/] [] () # ruch dla gosci $h class add dev $WANINT parent 2:1 classid 2:3 htb rate ${SERVSPD}kbit ceil TUWSTAWMNIEJSZAWARTOSCkbit prio 5 quantum 1500 $h qdisc add dev $WANINT parent 2:3 $SFQ_WAN $h filter add dev $WANINT parent 2:0 protocol ip prio 6 handle 1 fw flowid 2:3 $i -t mangle -A OUTPUT -o $WANINT -j MARK --set-mark 1 GeSHi © Codebox Plus mniej więcej.

Autor:	KrzySie [ sobota, 22 lipca 2006, 23:19 ]
Tytuł:
zciech pisze: jak gosc ma torrenta i wysyla cos na innego torenta gdzie user ustawil port 80 to pakiety zasuwaja przez twojego squida i dla htb to nie 1.26 je wysyla tylko serwer. a klasa ta ma ceil=max lacza Nigdy p2p nie przechodziło przez squida w moim przypadku (transparent), sam wprowadzałem sobie dla kontroli port 80 i adres proxy w różnych klientach. Co do 2:3 to ruch z serwera wg. wszelkich założeń, ale wg. mnie wchodził tam ruch nie zaklasyfikowany jako p2p (choć nim był). Po zmianie jak w http://forum.freesco.pl/viewtopic.php?p=81863#81863 (moje linki nie działają [choć nie znaczy, że będzie tak zawsze] i trudno to zweryfikować) rozwaliło statystyki, wychodziły bzdury- czyli coś nie tak chyba z klasyfikacją ruchu na wykresie. EDIT Linki już chodzą

Autor:	zciech [ sobota, 22 lipca 2006, 23:55 ]
Tytuł:
Reasumujac mamy do czynienia z kolejnym cudem. To juz trzeci (liczac ten w Kanie Galilejskiej).

Autor:	adi [ niedziela, 23 lipca 2006, 10:21 ]
Tytuł:
1.Tak to wygląda: 0 0 MARK all -- * * 192.168.1.24 0.0.0.0/0 MARK set 0x10 0 0 MARK all -- * * 192.168.1.25 0.0.0.0/0 MARK set 0x11 1090K 987M MARK all -- * * 192.168.1.26 0.0.0.0/0 MARK set 0x12 0 0 MARK all -- * * 192.168.1.27 0.0.0.0/0 MARK set 0x13 0 0 MARK all -- * * 192.168.1.28 0.0.0.0/0 MARK set 0x14 2. Zmieniłem w skrypcie za radą obu szanownych kolegów... 3. Cytuj: moje linki nie działają Niestety... Ale Nie wiem czy czytałeś cały mój post, ja mam tam przystosowane do ipp2p. Zciech - jak już pisałem, nie ma tam www (są tylko staty na hasło, które tylko ja znam) i nie ma ftp. Podejrzewam jednak p2p. Spróbuję się dowiedzieć czego gość używał wczoraj do wysyłki. Może to jakoś rozświetli sprawę.

Autor:	KrzySie [ niedziela, 23 lipca 2006, 12:56 ]
Tytuł:
adi pisze: 3. Cytuj: moje linki nie działają To przez zmianę serwera. Gdy ten aktualny pójdzie do czyszczenia, konserwacji wtedy uruchomię poprzedni. Za dużo kombinacji, aby udostępnić dane z tego wyłączonego (wszystko w nim już było skonfigurowane). Myślałem, że ktoś skopiował sobie skrypt. Cytuj: ja mam tam przystosowane do ipp2p widziałem, ale trochę więcej pozmieniałem.

Strona 1 z 2	Strefa czasowa UTC+2godz.
Powered by phpBB® Forum Software © phpBB Group https://www.phpbb.com/

Autor:	zciech [ niedziela, 23 lipca 2006, 00:09 ]
Tytuł:
sparawdz znakowanie pakietow: iptables -t mangle -L PREROUTING -nv : [/] [] () root@serwer:~$iptables -t mangle -L PREROUTING -nv Chain PREROUTING (policy ACCEPT 38M packets, 17G bytes) pkts bytes target prot opt in out source destination 9268 794K MARK all -- * * 192.168.0.11 0.0.0.0/0 MARK set 0x4 0 0 MARK all -- * * 192.168.0.12 0.0.0.0/0 MARK set 0x5 0 0 MARK all -- * * 192.168.0.13 0.0.0.0/0 MARK set 0x6 0 0 MARK all -- * * 192.168.0.14 0.0.0.0/0 MARK set 0x7 82190 12M MARK all -- * * 192.168.0.15 0.0.0.0/0 MARK set 0x8 13 2977 MARK all -- * * 192.168.0.16 0.0.0.0/0 MARK set 0x9 0 0 MARK all -- * * 192.168.0.17 0.0.0.0/0 MARK set 0xa 0 0 MARK all -- * * 192.168.0.18 0.0.0.0/0 MARK set 0xb 0 0 MARK all -- * * 192.168.0.20 0.0.0.0/0 MARK set 0xc 0 0 MARK all -- * * 192.168.0.21 0.0.0.0/0 MARK set 0xd 5 1244 MARK all -- * * 192.168.0.26 0.0.0.0/0 MARK set 0xe GeSHi © Codebox Plus A zwłaszcza licznik przy 1.26 Uwaga jesli pakiet "pasuje" do kilku lini to dostaje mark OSTATNIEJ

Autor:	zciech [ niedziela, 23 lipca 2006, 11:27 ]
Tytuł:
1. wtaw gdzies na www caly wydruk iptables -t mangle -L -nv i podaj linka.

Autor:	adi [ niedziela, 23 lipca 2006, 11:32 ]
Tytuł:
Proszę bardzo: http://www.adane.pl/pub/nnd/pic/iptables.txt

Autor:	-MW- [ niedziela, 23 lipca 2006, 12:17 ]
Tytuł:
nie zaglebiajac sie w szczeguly. Cytuj: 285K 136M CONNMARK tcp -- * * 0.0.0.0/0 0.0.0.0/0 CONNMARK restore ten wpis powinien byc jako pierwsza regulka a nie trzecia od konca Cytuj: Chain OUTPUT (policy ACCEPT 3571K packets, 2108M bytes) pkts bytes target prot opt in out source destination 0 0 MARK tcp -- * eth1 0.0.0.0/0 0.0.0.0/0 tcp spt:!3128 MARK set 0x1 a to ma sluzyc czemu? wszystko co leci ze squida? a wlasciwie wszystko co leci przez squida niewazne czy z cache czy nie, czyli jesli klasa jest wieksza to nie masz kontroli nad userem. pasowaloby rozdzielic pakiety miss i hit. ( a moze sie myle )