Freesco, NND, CDN, EOS

http://www.freesco.pl
Dzisiaj jest wtorek, 17 czerwca 2025, 19:33

Strefa czasowa UTC+2godz.




Nowy temat Ten temat jest zamknięty. Nie można w nim pisać ani edytować postów.  [ Posty: 12 ] 
Autor Wiadomość
Post: poniedziałek, 11 czerwca 2007, 00:16 
Offline
Honorowy Admin

Rejestracja: piątek, 5 lipca 2002, 17:30
Posty: 7800
Lokalizacja: Słupsk
Przygotowałem pierwszy pakiet z programem dspam oraz dodatkowe pakiety potrzebne, aby w całości wszystko uruchomić.
dspam-3.8.0
Ten pakiet nie będzie działał oczywiście bez poczty (exim, tpop3d) i procmaila.
Warto też mieć mysql, żeby założyć bazę, choć można działać również bez tego, po małych zmianach w konfiguracji.
dspam-panel-3.8.0
Ten pakiet już wymaga całkiej sporej liczby dodatków.
gd-2.0.33
Ten pakiet trzeba zainstalować zamiast standardowego pakietu z nnd, który jest starszy i pozbawiony wsparcia dla freetype. Wcześniej z repozytorium NND należy zainstalować libpng i libjpeg.
No i dalej... Wszystkie pakiety poniższe mają na celu uruchomienie panelu. panel nie jest niezbędny, ale dość przydatny i łatwy w użyciu. Musimy zainstalować mod_perl:
mod_perl-2.0.3
Potem instalujemy poniższe moduły perla:
perl-gd-2.35
perl-apache-authpop3
perl-cache-cache-1.0
perl-digest-sha1-2.1
perl-error-0.17008
perl-gd-graph-1.44
perl-gd-graph3d-0.63
perl-gdtextutil-0.86
Po zainstalowaniu wszystkich potrzebnych pakietów przechodzimy do:
/root/dspamconf/ i czytamy bardzo uważnie README.dspam i wykonujemy też zawarte tam polecenia. W tym celu będzie praktycznie otworzyć sobie dwie sesje ssh. Na jednym ekranie można czytać, na drugim wykonywać polecenia.
Po zakończeniu - czyli skonfigurowaniu dspam i exima, należy przekonfigurowac apacza. Uwaga wszystkie pliki będą działać z apache-2.2.4, nie wiem jak ze starszymi. Aby ułatwić sobie pracę apache dobrze wspomóc phpMyAdminem (a to wymaga php).
W httpd.conf należy dodać linię
LoadModule perl_module /usr/lib/apache/mod_perl.so
I specjalnie dla panelu dspam tuż za ustawieniami katalogu cgi-bin dodajemy:
ScriptAlias /dspam/ /home/httpd/dspam/cgi-bin/
Alias /dspam_files/ /home/httpd/dspam/htdocs/
<Directory /home/httpd/dspam/cgi-bin>
Options None
AllowOverride AuthConfig
Order allow,deny
Allow from all
</Directory>
Następnie założyć bazę dspam, i tabele z pliku przykładowego dspam.sql.
Teraz już wystarczy ponownie uruchomić demony httpd i exim i calość zaczyna działać.
Tu należy dodać jeszcze, że przykładowe pliki graficzne mogą się nie pojawić ze względu na nieaktualne logi (błąd pokaże panel Analiza), zaś w części administracyjnej nie pojawią się wykresy ani statystyki userów, dopóki nie zostaną zapisane jakieś logi.
Ponadto - czego już nie ma w README - zmiana z ostatniej chwili - domyślnie cały spam zostaje przekierowany do /var/dspam/data/user/user.mbox. Spowodowane zostało to tym, że wówczas użytkownik sam może zarządzać swoim spamem. Jesli zaś administrator chciałby np. utworzyć specjalne konto przyjmujące spam i sortować sam, to plik cp-procmail.sh trzeba wyedytować, aby odhaszować inny z możliwych wpisów.
Mam nadzieję, ze znajdzie się kilku odważnych, żeby zastosować program w praktyce, jeśli tak będzie i wyniki potwierdzą, że warto, wtedy pakiet zostanie dodany do repozytoriów NND.
Uprzejmie proszę o podsyłanie na privmsg uwag, komunikatów o błędach, ewentualnych sukcesach.
I jeszcze jedna uwaga. Paczka zawiera program wstępnie "nauczony", ale warto sobie przez jakiś czas nie kasować spamu i zapisywać go w jakichś plikach, a także zapełnić swoją skrzynkę dobrymi mailami i powtórzyć trenowanie po tygodniu czy dwóch.
No i bym zapomniał :)
http://nnd-linux-router.one.pl/pkg/dspam-files/ - najnowsze NND
http://nnd-linux-router.one.pl/old/ - pakiety dla wersji z 2005

_________________
Obrazek Belfer.one.PL
Obrazek Audio Cafe


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: wtorek, 12 czerwca 2007, 00:35 
Offline
Honorowy Admin

Rejestracja: piątek, 5 lipca 2002, 17:30
Posty: 7800
Lokalizacja: Słupsk
: [/] [] ()
927 SPAM, 63 Good, 1 Spam Misses, 14 False Positives, 0 Inoculations

Taki wynik uzyskałem po 2 dobach działania na mocno obciążonym przez spam serwerze. Niektórzy użytkownicy oprócz spamu nic nie dostają, można tylko się zastanawiać, co też oni na tych komputerach robią w godzinach pracy :)
Od teraz zdecydowałem się już nie tylko na oznaczanie spamu, ale na zbieranie go na jedno konto, które będzie można przejrzeć i ewentualne False Positives przesłać użytkownikom na konto. Tych 14 False Positives to autorespondery, które niektórzy z uporem włączają ("Twój mail został dostarczony... ble ble ble.."), Niektóre autorespondery odsyłają treść maila w strasznie pokaszanionym stanie i dlatego dspam je domyślnie oznacza jako spam. Przez filtr jak widać przecisnął się tylko jeden standardowy spam.
Mam tez już trochę obserwacji związanych z panelem - dla użytkownika jest on przede wszystkim przeglądem statystyk. Związane jest to ze stosowaniem mbox (niektóre funkcje przez to nie działają, jak będę testował następną wersję, to sprawdzę z maildir), no i niektóre nie działają ze względu, że exim nie pozwala niektórych operacji wykonać z poziomu www.
Generalnie jednak moje dwudniowe doświadczenia wskazują na bardzo wysoką skuteczność.
Dane z jednego konta:
: [/] [] ()
Ogólna dokładność 93.617% (SPAM + HAM) / całkowita liczba
Zidentyfikowany spam 100.000% (Złapany spam)
Współczynnik spamu (do całości) 84.286% Całkowity SPAM (zatrzymane i chybione razem) / Wszystkie maile

Jest 93% skuteczności - bo z tego konta robiłem retrain dla False Positives.
Na zwyczajnym koncie było tak:
: [/] [] ()
Ogólna dokładność 98.649% (SPAM + HAM) / całkowita liczba
Zidentyfikowany spam 98.571% (Złapany spam)
Współczynnik spamu (do całości) 94.595% Całkowity SPAM (zatrzymane i chybione razem) / Wszystkie maile

_________________
Obrazek Belfer.one.PL
Obrazek Audio Cafe


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: środa, 13 czerwca 2007, 23:57 
Offline
Użytkownik

Rejestracja: środa, 8 czerwca 2005, 19:39
Posty: 571
http://ipsec.pl/pk/index.php?title=Syst ... mowy_DSPAM

_________________
| ArchLinux X64 2.6.29-6 (Custom) @ IBM eServer 235
| Intel Xeon 2,4GHz (x2) : 2GB RAM : 2x36GB SCSI (RAID1)
| httpd2.6 mysql exim dhcpd named proftpd stats niceshaper06
| WAN: 35|35 mb/s (GTS) @ 500+ hosts


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: czwartek, 14 czerwca 2007, 10:49 
Offline
Honorowy Admin

Rejestracja: piątek, 5 lipca 2002, 17:30
Posty: 7800
Lokalizacja: Słupsk
To był jeden z artykułów, którymi posługiwałem się, przygotowując pakiet, ale jego przydatność dla końcowego użytkownika NND jest dość ograniczona.
Zapewne niedługo pojawi się opis na naszej stronie, ale najpierw trzeba się programowi dokładnie przyjrzeć.

_________________
Obrazek Belfer.one.PL
Obrazek Audio Cafe


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: piątek, 15 czerwca 2007, 14:26 
Offline
Honorowy Admin

Rejestracja: piątek, 5 lipca 2002, 17:30
Posty: 7800
Lokalizacja: Słupsk
Po pierwszym prawie pełnym tygodniu testowania na rzeczywistym serwerze mam dość dobre wyniki.
Przede wszystkim w ciągu ostatnich paru dni skuteczność wynosi ponad 98%
Czyli przepuszczony spam to zaledwie 1,4% - wliczając to "powtórnie trenowane" maile.
Od wtorku fałszywie zatrzymanych maili - 0. A moim zdaniem to też ważne.
Jednym słowem to jest to :)

_________________
Obrazek Belfer.one.PL
Obrazek Audio Cafe


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: piątek, 15 czerwca 2007, 23:12 
Offline
PGF

Rejestracja: wtorek, 27 czerwca 2006, 14:09
Posty: 2112
Lokalizacja: Poznań
Gratulacje :)

_________________
Dedykowane systemy CRM, e-commerce i witryny korporacyjne.
Software House Poznań


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: piątek, 15 czerwca 2007, 23:24 
Offline
MODERATOR

Rejestracja: piątek, 5 lipca 2002, 17:31
Posty: 2449
Lokalizacja: Londyn
Maciek pisze:
skuteczność wynosi ponad 98%
Czyli przepuszczony spam to zaledwie 1,4%


co się stało z pozostałym 0.6%? Poważnie pytam.

_________________
Mis'
___________________________________
"Real Men Use Telnet on port 80" (el bid)


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: sobota, 16 czerwca 2007, 10:39 
Offline
Honorowy Admin

Rejestracja: piątek, 5 lipca 2002, 17:30
Posty: 7800
Lokalizacja: Słupsk
Podawałem skuteczność "ponad" 98% więc moze się w tym mieścić te 0,6 :)
- dokładniej rzecz biorąc to oprócz maili typu spam i innocent są jeszcze spam misses i false positives, a ponieważ to pierwszy tydzień działania, więc miałem troszkę ręcznych powtórek na początku i to jest te 0,6.

_________________
Obrazek Belfer.one.PL
Obrazek Audio Cafe


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: sobota, 16 czerwca 2007, 11:46 
Offline
Użytkownik

Rejestracja: środa, 26 października 2005, 13:02
Posty: 1404
Lokalizacja: Mińsk Mazowiecki
jest skuteczność jest tak duza mozesz ocenic na jakiej liczbie maili jest mierzona ?

_________________
www.komputer.cuprum.pl
Intel Core 2 DUO QUAD, DUAL DDR2 8GB, GF8800 1 GB, HDD SATAII 750 GB + 750 GB + 80GB + IDE HDD 40 GB, Linux Mandriva 2008 PP


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: sobota, 16 czerwca 2007, 14:33 
Offline
Honorowy Admin

Rejestracja: piątek, 5 lipca 2002, 17:30
Posty: 7800
Lokalizacja: Słupsk
Od samego początku włączenia programu, włączając w to maile "retrained" statystyka pokazuje:
2036 SPAM, 294 Good, 11 Spam Misses, 15 False Positives

_________________
Obrazek Belfer.one.PL
Obrazek Audio Cafe


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: niedziela, 17 czerwca 2007, 01:17 
Offline
Użytkownik

Rejestracja: środa, 26 października 2005, 13:02
Posty: 1404
Lokalizacja: Mińsk Mazowiecki
wyglada dosc niezle okolo 10% calosci to maile prawdziwe ciekawe jakby to sie sprawdzilo u mnie gdzie mam okolo 3% prawdziwych maili reszta to spam.

_________________
www.komputer.cuprum.pl
Intel Core 2 DUO QUAD, DUAL DDR2 8GB, GF8800 1 GB, HDD SATAII 750 GB + 750 GB + 80GB + IDE HDD 40 GB, Linux Mandriva 2008 PP


Na górę
 Wyświetl profil  
 
 Tytuł:
Post: niedziela, 17 czerwca 2007, 11:17 
Offline
Honorowy Admin

Rejestracja: piątek, 5 lipca 2002, 17:30
Posty: 7800
Lokalizacja: Słupsk
Sądzę, że tak samo.
Moim zdaniem wszystko zależy od odrobiny pracy włożonej na początku.
Pierwsze dwa dni zdecydowałem się na dość częste przeglądanie panelu i wychwytywanie wszystkich wątpliwych maili. Większość z nich udało mi się wychwycić i zapisać do osobnego pliku. potem pakowałem to do swojej własnej skrzynki i robiłem Retrain. Po dwóch dniach, aby mieć mniej pracy, utworzyłem specjalne konto, na które wędrował spam. To przeglądam raz dziennie i w zasadzie jest po to aby wychwycić ewentualne dobre maile zakwalifikowane jako spam. Ale już od środy żadnego takiego nie było. Zatem w sumie mógłbym już spam kierować do /dev/null. Z przeglądania panelu widzę łącznie koło 4 mali do użytkowników od środy, które zostały przez system przepuszczone. Oczywiście nie udało mi się ich zatrzymać, ponieważ użytkownicy już odebrali pocztę.
Z tym, że w najbliższym czasie większość użytkowników zostanie przeszkolona do używania Thunderbirda z wtyczką Redirect i będa mogli sami przepuszczany spam poddawać treningowi.
Podsumowując - po wstępnych doświadczeniach jestem już gotów do zrobienia kolejnej udoskonalonej wersji paczki.

_________________
Obrazek Belfer.one.PL
Obrazek Audio Cafe


Na górę
 Wyświetl profil  
 
Wyświetl posty nie starsze niż:  Sortuj wg  
Nowy temat Ten temat jest zamknięty. Nie można w nim pisać ani edytować postów.  [ Posty: 12 ] 

Strefa czasowa UTC+2godz.


Kto jest online

Użytkownicy przeglądający to forum: Obecnie na forum nie ma żadnego zarejestrowanego użytkownika i 5 gości


Nie możesz tworzyć nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz dodawać załączników

Szukaj:
Przejdź do:  
cron
Technologię dostarcza phpBB® Forum Software © phpBB Group
Hosting: Compus-Net
RobertKonik.pl