Freesco, NND, CDN, EOS
http://forum.freesco.pl/

dspam - pre-alfa
http://forum.freesco.pl/viewtopic.php?f=24&t=15494
Strona 1 z 1

Autor:  Maciek [ poniedziałek, 11 czerwca 2007, 00:16 ]
Tytuł:  dspam - pre-alfa

Przygotowałem pierwszy pakiet z programem dspam oraz dodatkowe pakiety potrzebne, aby w całości wszystko uruchomić.
dspam-3.8.0
Ten pakiet nie będzie działał oczywiście bez poczty (exim, tpop3d) i procmaila.
Warto też mieć mysql, żeby założyć bazę, choć można działać również bez tego, po małych zmianach w konfiguracji.
dspam-panel-3.8.0
Ten pakiet już wymaga całkiej sporej liczby dodatków.
gd-2.0.33
Ten pakiet trzeba zainstalować zamiast standardowego pakietu z nnd, który jest starszy i pozbawiony wsparcia dla freetype. Wcześniej z repozytorium NND należy zainstalować libpng i libjpeg.
No i dalej... Wszystkie pakiety poniższe mają na celu uruchomienie panelu. panel nie jest niezbędny, ale dość przydatny i łatwy w użyciu. Musimy zainstalować mod_perl:
mod_perl-2.0.3
Potem instalujemy poniższe moduły perla:
perl-gd-2.35
perl-apache-authpop3
perl-cache-cache-1.0
perl-digest-sha1-2.1
perl-error-0.17008
perl-gd-graph-1.44
perl-gd-graph3d-0.63
perl-gdtextutil-0.86
Po zainstalowaniu wszystkich potrzebnych pakietów przechodzimy do:
/root/dspamconf/ i czytamy bardzo uważnie README.dspam i wykonujemy też zawarte tam polecenia. W tym celu będzie praktycznie otworzyć sobie dwie sesje ssh. Na jednym ekranie można czytać, na drugim wykonywać polecenia.
Po zakończeniu - czyli skonfigurowaniu dspam i exima, należy przekonfigurowac apacza. Uwaga wszystkie pliki będą działać z apache-2.2.4, nie wiem jak ze starszymi. Aby ułatwić sobie pracę apache dobrze wspomóc phpMyAdminem (a to wymaga php).
W httpd.conf należy dodać linię
LoadModule perl_module /usr/lib/apache/mod_perl.so
I specjalnie dla panelu dspam tuż za ustawieniami katalogu cgi-bin dodajemy:
ScriptAlias /dspam/ /home/httpd/dspam/cgi-bin/
Alias /dspam_files/ /home/httpd/dspam/htdocs/
<Directory /home/httpd/dspam/cgi-bin>
Options None
AllowOverride AuthConfig
Order allow,deny
Allow from all
</Directory>
Następnie założyć bazę dspam, i tabele z pliku przykładowego dspam.sql.
Teraz już wystarczy ponownie uruchomić demony httpd i exim i calość zaczyna działać.
Tu należy dodać jeszcze, że przykładowe pliki graficzne mogą się nie pojawić ze względu na nieaktualne logi (błąd pokaże panel Analiza), zaś w części administracyjnej nie pojawią się wykresy ani statystyki userów, dopóki nie zostaną zapisane jakieś logi.
Ponadto - czego już nie ma w README - zmiana z ostatniej chwili - domyślnie cały spam zostaje przekierowany do /var/dspam/data/user/user.mbox. Spowodowane zostało to tym, że wówczas użytkownik sam może zarządzać swoim spamem. Jesli zaś administrator chciałby np. utworzyć specjalne konto przyjmujące spam i sortować sam, to plik cp-procmail.sh trzeba wyedytować, aby odhaszować inny z możliwych wpisów.
Mam nadzieję, ze znajdzie się kilku odważnych, żeby zastosować program w praktyce, jeśli tak będzie i wyniki potwierdzą, że warto, wtedy pakiet zostanie dodany do repozytoriów NND.
Uprzejmie proszę o podsyłanie na privmsg uwag, komunikatów o błędach, ewentualnych sukcesach.
I jeszcze jedna uwaga. Paczka zawiera program wstępnie "nauczony", ale warto sobie przez jakiś czas nie kasować spamu i zapisywać go w jakichś plikach, a także zapełnić swoją skrzynkę dobrymi mailami i powtórzyć trenowanie po tygodniu czy dwóch.
No i bym zapomniał :)
http://nnd-linux-router.one.pl/pkg/dspam-files/ - najnowsze NND
http://nnd-linux-router.one.pl/old/ - pakiety dla wersji z 2005

Autor:  Maciek [ wtorek, 12 czerwca 2007, 00:35 ]
Tytuł: 

: [/] [] ()
927 SPAM, 63 Good, 1 Spam Misses, 14 False Positives, 0 Inoculations

Taki wynik uzyskałem po 2 dobach działania na mocno obciążonym przez spam serwerze. Niektórzy użytkownicy oprócz spamu nic nie dostają, można tylko się zastanawiać, co też oni na tych komputerach robią w godzinach pracy :)
Od teraz zdecydowałem się już nie tylko na oznaczanie spamu, ale na zbieranie go na jedno konto, które będzie można przejrzeć i ewentualne False Positives przesłać użytkownikom na konto. Tych 14 False Positives to autorespondery, które niektórzy z uporem włączają ("Twój mail został dostarczony... ble ble ble.."), Niektóre autorespondery odsyłają treść maila w strasznie pokaszanionym stanie i dlatego dspam je domyślnie oznacza jako spam. Przez filtr jak widać przecisnął się tylko jeden standardowy spam.
Mam tez już trochę obserwacji związanych z panelem - dla użytkownika jest on przede wszystkim przeglądem statystyk. Związane jest to ze stosowaniem mbox (niektóre funkcje przez to nie działają, jak będę testował następną wersję, to sprawdzę z maildir), no i niektóre nie działają ze względu, że exim nie pozwala niektórych operacji wykonać z poziomu www.
Generalnie jednak moje dwudniowe doświadczenia wskazują na bardzo wysoką skuteczność.
Dane z jednego konta:
: [/] [] ()
Ogólna dokładność 93.617% (SPAM + HAM) / całkowita liczba
Zidentyfikowany spam 100.000% (Złapany spam)
Współczynnik spamu (do całości) 84.286% Całkowity SPAM (zatrzymane i chybione razem) / Wszystkie maile

Jest 93% skuteczności - bo z tego konta robiłem retrain dla False Positives.
Na zwyczajnym koncie było tak:
: [/] [] ()
Ogólna dokładność 98.649% (SPAM + HAM) / całkowita liczba
Zidentyfikowany spam 98.571% (Złapany spam)
Współczynnik spamu (do całości) 94.595% Całkowity SPAM (zatrzymane i chybione razem) / Wszystkie maile

Autor:  barte-k [ środa, 13 czerwca 2007, 23:57 ]
Tytuł: 

http://ipsec.pl/pk/index.php?title=Syst ... mowy_DSPAM

Autor:  Maciek [ czwartek, 14 czerwca 2007, 10:49 ]
Tytuł: 

To był jeden z artykułów, którymi posługiwałem się, przygotowując pakiet, ale jego przydatność dla końcowego użytkownika NND jest dość ograniczona.
Zapewne niedługo pojawi się opis na naszej stronie, ale najpierw trzeba się programowi dokładnie przyjrzeć.

Autor:  Maciek [ piątek, 15 czerwca 2007, 14:26 ]
Tytuł: 

Po pierwszym prawie pełnym tygodniu testowania na rzeczywistym serwerze mam dość dobre wyniki.
Przede wszystkim w ciągu ostatnich paru dni skuteczność wynosi ponad 98%
Czyli przepuszczony spam to zaledwie 1,4% - wliczając to "powtórnie trenowane" maile.
Od wtorku fałszywie zatrzymanych maili - 0. A moim zdaniem to też ważne.
Jednym słowem to jest to :)

Autor:  JakubC [ piątek, 15 czerwca 2007, 23:12 ]
Tytuł: 

Gratulacje :)

Autor:  Mis' [ piątek, 15 czerwca 2007, 23:24 ]
Tytuł: 

Maciek pisze:
skuteczność wynosi ponad 98%
Czyli przepuszczony spam to zaledwie 1,4%


co się stało z pozostałym 0.6%? Poważnie pytam.

Autor:  Maciek [ sobota, 16 czerwca 2007, 10:39 ]
Tytuł: 

Podawałem skuteczność "ponad" 98% więc moze się w tym mieścić te 0,6 :)
- dokładniej rzecz biorąc to oprócz maili typu spam i innocent są jeszcze spam misses i false positives, a ponieważ to pierwszy tydzień działania, więc miałem troszkę ręcznych powtórek na początku i to jest te 0,6.

Autor:  TheL [ sobota, 16 czerwca 2007, 11:46 ]
Tytuł: 

jest skuteczność jest tak duza mozesz ocenic na jakiej liczbie maili jest mierzona ?

Autor:  Maciek [ sobota, 16 czerwca 2007, 14:33 ]
Tytuł: 

Od samego początku włączenia programu, włączając w to maile "retrained" statystyka pokazuje:
2036 SPAM, 294 Good, 11 Spam Misses, 15 False Positives

Autor:  TheL [ niedziela, 17 czerwca 2007, 01:17 ]
Tytuł: 

wyglada dosc niezle okolo 10% calosci to maile prawdziwe ciekawe jakby to sie sprawdzilo u mnie gdzie mam okolo 3% prawdziwych maili reszta to spam.

Autor:  Maciek [ niedziela, 17 czerwca 2007, 11:17 ]
Tytuł: 

Sądzę, że tak samo.
Moim zdaniem wszystko zależy od odrobiny pracy włożonej na początku.
Pierwsze dwa dni zdecydowałem się na dość częste przeglądanie panelu i wychwytywanie wszystkich wątpliwych maili. Większość z nich udało mi się wychwycić i zapisać do osobnego pliku. potem pakowałem to do swojej własnej skrzynki i robiłem Retrain. Po dwóch dniach, aby mieć mniej pracy, utworzyłem specjalne konto, na które wędrował spam. To przeglądam raz dziennie i w zasadzie jest po to aby wychwycić ewentualne dobre maile zakwalifikowane jako spam. Ale już od środy żadnego takiego nie było. Zatem w sumie mógłbym już spam kierować do /dev/null. Z przeglądania panelu widzę łącznie koło 4 mali do użytkowników od środy, które zostały przez system przepuszczone. Oczywiście nie udało mi się ich zatrzymać, ponieważ użytkownicy już odebrali pocztę.
Z tym, że w najbliższym czasie większość użytkowników zostanie przeszkolona do używania Thunderbirda z wtyczką Redirect i będa mogli sami przepuszczany spam poddawać treningowi.
Podsumowując - po wstępnych doświadczeniach jestem już gotów do zrobienia kolejnej udoskonalonej wersji paczki.

Strona 1 z 1 Strefa czasowa UTC+2godz.
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/