Freesco, NND, CDN, EOS http://forum.freesco.pl/ |
|
dspam - pre-alfa http://forum.freesco.pl/viewtopic.php?f=24&t=15494 |
Strona 1 z 1 |
Autor: | Maciek [ poniedziałek, 11 czerwca 2007, 00:16 ] |
Tytuł: | dspam - pre-alfa |
Przygotowałem pierwszy pakiet z programem dspam oraz dodatkowe pakiety potrzebne, aby w całości wszystko uruchomić. dspam-3.8.0 Ten pakiet nie będzie działał oczywiście bez poczty (exim, tpop3d) i procmaila. Warto też mieć mysql, żeby założyć bazę, choć można działać również bez tego, po małych zmianach w konfiguracji. dspam-panel-3.8.0 Ten pakiet już wymaga całkiej sporej liczby dodatków. gd-2.0.33 Ten pakiet trzeba zainstalować zamiast standardowego pakietu z nnd, który jest starszy i pozbawiony wsparcia dla freetype. Wcześniej z repozytorium NND należy zainstalować libpng i libjpeg. No i dalej... Wszystkie pakiety poniższe mają na celu uruchomienie panelu. panel nie jest niezbędny, ale dość przydatny i łatwy w użyciu. Musimy zainstalować mod_perl: mod_perl-2.0.3 Potem instalujemy poniższe moduły perla: perl-gd-2.35 perl-apache-authpop3 perl-cache-cache-1.0 perl-digest-sha1-2.1 perl-error-0.17008 perl-gd-graph-1.44 perl-gd-graph3d-0.63 perl-gdtextutil-0.86 Po zainstalowaniu wszystkich potrzebnych pakietów przechodzimy do: /root/dspamconf/ i czytamy bardzo uważnie README.dspam i wykonujemy też zawarte tam polecenia. W tym celu będzie praktycznie otworzyć sobie dwie sesje ssh. Na jednym ekranie można czytać, na drugim wykonywać polecenia. Po zakończeniu - czyli skonfigurowaniu dspam i exima, należy przekonfigurowac apacza. Uwaga wszystkie pliki będą działać z apache-2.2.4, nie wiem jak ze starszymi. Aby ułatwić sobie pracę apache dobrze wspomóc phpMyAdminem (a to wymaga php). W httpd.conf należy dodać linię LoadModule perl_module /usr/lib/apache/mod_perl.so I specjalnie dla panelu dspam tuż za ustawieniami katalogu cgi-bin dodajemy: ScriptAlias /dspam/ /home/httpd/dspam/cgi-bin/ Alias /dspam_files/ /home/httpd/dspam/htdocs/ <Directory /home/httpd/dspam/cgi-bin> Options None AllowOverride AuthConfig Order allow,deny Allow from all </Directory> Następnie założyć bazę dspam, i tabele z pliku przykładowego dspam.sql. Teraz już wystarczy ponownie uruchomić demony httpd i exim i calość zaczyna działać. Tu należy dodać jeszcze, że przykładowe pliki graficzne mogą się nie pojawić ze względu na nieaktualne logi (błąd pokaże panel Analiza), zaś w części administracyjnej nie pojawią się wykresy ani statystyki userów, dopóki nie zostaną zapisane jakieś logi. Ponadto - czego już nie ma w README - zmiana z ostatniej chwili - domyślnie cały spam zostaje przekierowany do /var/dspam/data/user/user.mbox. Spowodowane zostało to tym, że wówczas użytkownik sam może zarządzać swoim spamem. Jesli zaś administrator chciałby np. utworzyć specjalne konto przyjmujące spam i sortować sam, to plik cp-procmail.sh trzeba wyedytować, aby odhaszować inny z możliwych wpisów. Mam nadzieję, ze znajdzie się kilku odważnych, żeby zastosować program w praktyce, jeśli tak będzie i wyniki potwierdzą, że warto, wtedy pakiet zostanie dodany do repozytoriów NND. Uprzejmie proszę o podsyłanie na privmsg uwag, komunikatów o błędach, ewentualnych sukcesach. I jeszcze jedna uwaga. Paczka zawiera program wstępnie "nauczony", ale warto sobie przez jakiś czas nie kasować spamu i zapisywać go w jakichś plikach, a także zapełnić swoją skrzynkę dobrymi mailami i powtórzyć trenowanie po tygodniu czy dwóch. No i bym zapomniał ![]() http://nnd-linux-router.one.pl/pkg/dspam-files/ - najnowsze NND http://nnd-linux-router.one.pl/old/ - pakiety dla wersji z 2005 |
Autor: | Maciek [ wtorek, 12 czerwca 2007, 00:35 ] |
Tytuł: | |
Taki wynik uzyskałem po 2 dobach działania na mocno obciążonym przez spam serwerze. Niektórzy użytkownicy oprócz spamu nic nie dostają, można tylko się zastanawiać, co też oni na tych komputerach robią w godzinach pracy ![]() Od teraz zdecydowałem się już nie tylko na oznaczanie spamu, ale na zbieranie go na jedno konto, które będzie można przejrzeć i ewentualne False Positives przesłać użytkownikom na konto. Tych 14 False Positives to autorespondery, które niektórzy z uporem włączają ("Twój mail został dostarczony... ble ble ble.."), Niektóre autorespondery odsyłają treść maila w strasznie pokaszanionym stanie i dlatego dspam je domyślnie oznacza jako spam. Przez filtr jak widać przecisnął się tylko jeden standardowy spam. Mam tez już trochę obserwacji związanych z panelem - dla użytkownika jest on przede wszystkim przeglądem statystyk. Związane jest to ze stosowaniem mbox (niektóre funkcje przez to nie działają, jak będę testował następną wersję, to sprawdzę z maildir), no i niektóre nie działają ze względu, że exim nie pozwala niektórych operacji wykonać z poziomu www. Generalnie jednak moje dwudniowe doświadczenia wskazują na bardzo wysoką skuteczność. Dane z jednego konta: Ogólna dokładność 93.617% (SPAM + HAM) / całkowita liczba Zidentyfikowany spam 100.000% (Złapany spam) Współczynnik spamu (do całości) 84.286% Całkowity SPAM (zatrzymane i chybione razem) / Wszystkie maile Jest 93% skuteczności - bo z tego konta robiłem retrain dla False Positives. Na zwyczajnym koncie było tak: Ogólna dokładność 98.649% (SPAM + HAM) / całkowita liczba Zidentyfikowany spam 98.571% (Złapany spam) Współczynnik spamu (do całości) 94.595% Całkowity SPAM (zatrzymane i chybione razem) / Wszystkie maile |
Autor: | barte-k [ środa, 13 czerwca 2007, 23:57 ] |
Tytuł: | |
http://ipsec.pl/pk/index.php?title=Syst ... mowy_DSPAM |
Autor: | Maciek [ czwartek, 14 czerwca 2007, 10:49 ] |
Tytuł: | |
To był jeden z artykułów, którymi posługiwałem się, przygotowując pakiet, ale jego przydatność dla końcowego użytkownika NND jest dość ograniczona. Zapewne niedługo pojawi się opis na naszej stronie, ale najpierw trzeba się programowi dokładnie przyjrzeć. |
Autor: | Maciek [ piątek, 15 czerwca 2007, 14:26 ] |
Tytuł: | |
Po pierwszym prawie pełnym tygodniu testowania na rzeczywistym serwerze mam dość dobre wyniki. Przede wszystkim w ciągu ostatnich paru dni skuteczność wynosi ponad 98% Czyli przepuszczony spam to zaledwie 1,4% - wliczając to "powtórnie trenowane" maile. Od wtorku fałszywie zatrzymanych maili - 0. A moim zdaniem to też ważne. Jednym słowem to jest to ![]() |
Autor: | JakubC [ piątek, 15 czerwca 2007, 23:12 ] |
Tytuł: | |
Gratulacje ![]() |
Autor: | Mis' [ piątek, 15 czerwca 2007, 23:24 ] |
Tytuł: | |
Maciek pisze: skuteczność wynosi ponad 98%
Czyli przepuszczony spam to zaledwie 1,4% co się stało z pozostałym 0.6%? Poważnie pytam. |
Autor: | Maciek [ sobota, 16 czerwca 2007, 10:39 ] |
Tytuł: | |
Podawałem skuteczność "ponad" 98% więc moze się w tym mieścić te 0,6 ![]() - dokładniej rzecz biorąc to oprócz maili typu spam i innocent są jeszcze spam misses i false positives, a ponieważ to pierwszy tydzień działania, więc miałem troszkę ręcznych powtórek na początku i to jest te 0,6. |
Autor: | TheL [ sobota, 16 czerwca 2007, 11:46 ] |
Tytuł: | |
jest skuteczność jest tak duza mozesz ocenic na jakiej liczbie maili jest mierzona ? |
Autor: | Maciek [ sobota, 16 czerwca 2007, 14:33 ] |
Tytuł: | |
Od samego początku włączenia programu, włączając w to maile "retrained" statystyka pokazuje: 2036 SPAM, 294 Good, 11 Spam Misses, 15 False Positives |
Autor: | TheL [ niedziela, 17 czerwca 2007, 01:17 ] |
Tytuł: | |
wyglada dosc niezle okolo 10% calosci to maile prawdziwe ciekawe jakby to sie sprawdzilo u mnie gdzie mam okolo 3% prawdziwych maili reszta to spam. |
Autor: | Maciek [ niedziela, 17 czerwca 2007, 11:17 ] |
Tytuł: | |
Sądzę, że tak samo. Moim zdaniem wszystko zależy od odrobiny pracy włożonej na początku. Pierwsze dwa dni zdecydowałem się na dość częste przeglądanie panelu i wychwytywanie wszystkich wątpliwych maili. Większość z nich udało mi się wychwycić i zapisać do osobnego pliku. potem pakowałem to do swojej własnej skrzynki i robiłem Retrain. Po dwóch dniach, aby mieć mniej pracy, utworzyłem specjalne konto, na które wędrował spam. To przeglądam raz dziennie i w zasadzie jest po to aby wychwycić ewentualne dobre maile zakwalifikowane jako spam. Ale już od środy żadnego takiego nie było. Zatem w sumie mógłbym już spam kierować do /dev/null. Z przeglądania panelu widzę łącznie koło 4 mali do użytkowników od środy, które zostały przez system przepuszczone. Oczywiście nie udało mi się ich zatrzymać, ponieważ użytkownicy już odebrali pocztę. Z tym, że w najbliższym czasie większość użytkowników zostanie przeszkolona do używania Thunderbirda z wtyczką Redirect i będa mogli sami przepuszczany spam poddawać treningowi. Podsumowując - po wstępnych doświadczeniach jestem już gotów do zrobienia kolejnej udoskonalonej wersji paczki. |
Strona 1 z 1 | Strefa czasowa UTC+2godz. |
Powered by phpBB® Forum Software © phpBB Group https://www.phpbb.com/ |