Freesco, NND, CDN, EOS

Ameryki nie odkryłeś. Antyspamowych proxy pisanych w językach skryptowych jest cała masa. Przytoczę tylko PASP, czy dość dobrego Popfile'a, którego używam z powodzeniem od 4 lat. Wszystkie te systemy mają jedną cechę wspólną wynikającą działania interpretera Perla czy Pythona - zasobożerność. Demonami prędkości też w sumie nie są, dlatego zapytam bardziej doświadczonych forumowiczów, czy znają jakiś dobry system antyspamowy Perl Free ?

skoro wszytskie programy robia test bajesowski to musza zjadac procka, cos za cos.
Wole duze obciazenie a brak spamu.

_________________

Są różne metody na walkę ze spamem. Eksperci specjalizujący się w walce ze spamem tacy jak Jonathan Zdziarski są zgodni: sam klasyfikator bayesowski już nie wystarczy. Pomocne bywają testy Chi-Square i ocena Markowa, ale czasem w mailu nie ma tekstowej treści, do której mogą się odnieść.

W każdym bądź razie drugie zdanie sugeruje, że tylko zasobożerna kobyła jest gwarancją braku spamu, co jest nieprawdą. Jeśli mam dwa programy dobrze spełniające swoje zadanie, przy czym jeden to chachara wymagająca kilkunastu modułów a drugi to pojedynczy, mały exec plus plik konfiguracji i plik pomocniczy to jak myślisz, który wybiorę ?

chodzi mi o to ze zeby obsluzyc te wszystkie pyzroy, razory, identy, rble to po prostu musza byc te moduly perlowe bo w bashu sie tego nie na napisac
Ja uzywam spamassassina to jest bajes + ... + ... ;D troszke jest tych modulow, lapie spam wysmienicie ale obciaza serwer.

_________________

A nie przyszło ci do głowy, że to może być skompilowane w c++?

_________________
Belfer.one.PL
Audio Cafe

Ale czy to bedzie az taka roznica wydajnosci??
Dlaczego to tyle trwa?? Bo musi odpytac np. 5 serwerow z rblem czy jest u nich ten ip. Sprawdza ident hosta, albo ciag spf.
Roznica wydajnosci bedzie mala bo glownie bedzie schodzic na odpowiedzi od roznych serwerow a i w tym czasie skonczy sie test bajesowski.

_________________

u mnie ma to byc uruchomione na 2 rdzeniowym xeonie 3040 z 4 GB ramu i szybkimi dyskami wiec o obciazenie mi nie chodzi bardziej o skutecznosc i mozliwosc wspolpracy z serwerem pocztowym na Novellu z Groupwise

_________________
www.komputer.cuprum.pl
Intel Core 2 DUO QUAD, DUAL DDR2 8GB, GF8800 1 GB, HDD SATAII 750 GB + 750 GB + 80GB + IDE HDD 40 GB, Linux Mandriva 2008 PP

Hahaha, oczywiście. Różnica jest znaczna - programy w c++ są 3 do 4 razy szybsze i konsumują mniej pamięci. Jako dowód sprawdź sobie Hermes Antispam Proxy (http://www.hermes-project.com/). Autorzy napisali o programie:
I to jest prawda, z tym, że nadaje się to raczej do sytuacji jaką opisał TheL.
W takim razie spokojnie możesz przymknąć oko na perla. Zrozum tylko, że jeśli powstanie paczka pod NND z programem antyspamowym to dobrze by było żeby więcej ludzi mogło z niej skorzystać. Ludzie mają postawione NND na stareńkich Pentium II, a kto wie... może nawet Pentium I. Ma ktoś serwerek na Pentium I ?!?
Whatever. Wracając do tematu mogę polecić ci inny bardzo dobry system antyspamowy, który ma możliwość działania jako proxy - SpamBayes napisany w Pythonie. Jakbyś nie dał rady zmusić ASSP do działania, spróbuj z tym.

Ale jak uzytkownik/administrator odczuje to wieksze obciazenie??
Jedyne co się dzieje do load jest wysoki. Czasem sie zdarza, że jak ktos ma irssi z serwera puszczone to, że nie reaguje przez 1s.
Zobacz na to:
http://listonosz.com.pl/cgi-bin/cgi?7d
u góry wykres load na serwerze a troszke niżej ilość spamu.
Load nie idzie z ilością spamu.
Ostatnio w ogóle jest mniej spamu. Dostawałem około 120 dziennie. A teraz jak widać z wykresu są to pojedyńcze sztuki, aż dziwne.
Patrząc z drugiej strony ludzie mają serwery na Pentium I.
Patrzałeś jak zachowuje się clamav na PI?? Jak maile ma 5MB :>
Jak na razie czytają pl.comp.mail.mta to 90% ludzie uzywa spamassassina bo dobrze wyłapuje.

_________________

ASSP nie musi byc paczka dla NND bo dziala na nim po sciagnieciu i uruchomieniu wiec to chyba wystarczy opisalem wyzej co trzeba zrobic aby dzialal, teraz to juz kwestia konfiguracji, czesc rzeczy wiem co oznacza a czesc nie, ja chce zeby on byl tym co napisalem wyzej i dobrze lapal.
Sam jeden serwerek mam na Celeronie 333 z 128 MB RAMu i dyskiem 4 GB i dziala okej.

_________________
www.komputer.cuprum.pl
Intel Core 2 DUO QUAD, DUAL DDR2 8GB, GF8800 1 GB, HDD SATAII 750 GB + 750 GB + 80GB + IDE HDD 40 GB, Linux Mandriva 2008 PP

Nie patrzyłem, bo nie mam dostepu do takiej słabej maszyny. Najgorsze złomy jakie kupuje do zbierania danych pomiarowych to P2 350MHz z 64 MB pamięci za kupione bajońską sumę 40 złotych polskich :> W firmie używamy ClamWina a w zasadzie używaliśmy tego $&%^@. Nie będę się wypowiadał na temat tego programu, bo raz że to nie na temat, a dwa że moje zdanie na temat tego programu chyba by się nikomu nie spodobało. Nie powinno się robić nigdy czegoś tylko dlatego, że większość uważa to za słuszne - na tej zasadzie powinniśmy żreć kał - miliardy much nie mogą się mylić
A kobyła "The Apache Software Foundation" to też nie na temat, no chyba, że Spam Assassin sam z siebie działa jako proxy. Nie odrobiłeś pracy domowej, bo programy, których nazwy podałem wcześniej to przezroczyste, antyspamowe SMTP proxy optymalizowane do takiego reżimu pracy i będą efektywnie i bez kombinowania współpracować z serwerem pocztowym na Novellu, czy z Microsoft Exchange Server a SpamBayes ma możliwość jeszcze głębszej integracji.

to co ty podajesz to tylko filtr bajesowski!!
Co on mi zrobi??
X-Spam-Report: =?ISO-8859-1?Q?
* 0.0 DK_POLICY_SIGNSOME Domain Keys: policy says domain signs some mails
* 0.9 URI_NOVOWEL URI: URI hostname has long non-vowel sequence
* 5.6 UNWANTED_LANGUAGE_BODY BODY: Wiadomo=b6=e6 napisana w niepo=bf=b1danym
* j=eazyku
* 0.0 HTML_MESSAGE BODY: Wiadomo=b6=e6 zawiera kod HTML
* [score: 1.0000]
* 1.5 RAZOR2_CF_RANGE_E8_51_100 Razor2 gives engine 8 confidence level
* above 50%
* [cf: 100]
* 0.5 RAZOR2_CHECK Na li=b6cie Razor2 (http://razor.sf.net/)
* 0.5 RAZOR2_CF_RANGE_51_100 Razor2 stwierdzi=b3 pewno=b6=e6 pomi=eadzy 51 i 100
* [cf: 100]
* 4.1 URIBL_JP_SURBL Contains an URL listed in the JP SURBL blocklist
* [URIs: ricovale.net]?=
Subject: *****SPAM***** Stop the painful craving for more food

albo

X-Spam-Report: =?ISO-8859-1?Q?
* 0.0 DK_POLICY_SIGNSOME Domain Keys: policy says domain signs some mails
* 0.0 UNPARSEABLE_RELAY Informational: message has unparseable relay lines
* 5.6 UNWANTED_LANGUAGE_BODY BODY: Wiadomo=b6=e6 napisana w niepo=bf=b1danym
* j=eazyku
* 4.0 BAYES_99 BODY: Bayesowskie prawdopodobie=f1stwo spamu wynosi 99 do
* 100%
* [score: 1.0000]
* 3.8 URIBL_AB_SURBL Contains an URL listed in the AB SURBL blocklist
* [URIs: neycn.net]
* 4.1 URIBL_JP_SURBL Contains an URL listed in the JP SURBL blocklist
* [URIs: neycn.net]
* 2.1 URIBL_WS_SURBL Contains an URL listed in the WS SURBL blocklist
* [URIs: neycn.net]
* 3.0 URIBL_OB_SURBL Contains an URL listed in the OB SURBL blocklist
* [URIs: neycn.net]
* 4.5 URIBL_SC_SURBL Contains an URL listed in the SC SURBL blocklist
* [URIs: neycn.net]?=
Subject: *****SPAM***** All Mens Need This

Przez co ja takie maile posyłam wprost do /dev/null jak mają tyle punktów.
Nie wiem czy działa jako proxy czy jak. exim dostaje maila i wywoluje spamassassin do skanowania maila przez wtyczke sa-exim.
Proponuje przesłuchać: http://akademia.linuksa.pl/readme/antyspam/
dostajemy porządny greylisting połączony z anty-spamem.
Jako efekt końcowy wszystki działań otrzymujemy brak spamu a nie tylko jego tagowanie co jest dużo lepsze bo co mi po 100 mailach oznaczonych jako spam?? I tak czy siak musze je odebrac co czasem jest malo przyjemne.
Sam napisałeś: "Eksperci specjalizujący się w walce ze spamem tacy jak Jonathan Zdziarski są zgodni: sam klasyfikator bayesowski już nie wystarczy."
A bez perla hm... wszytskie programy do wysyłania smsow sa w perlu, bo idzie w pełni udawać przeglądarke. Są gotowe moduły wystarczy je wykorzystać. Jak ktoś się podejmie pisania tego na nowo to podejrzewam że będzie kosztować to pare $$.
Na poczatku jak uruchamialem spamassassina nie mialem modułów perlowych, chwytał spam w 40% moze 30% spytaj makoga bo miał to samo, bo spamassassin chodził na samym bajesie. Dopiero jak zainstalowałem moduły do obsługi pyzora, razora, rbl'i i innych takich to wycina wszystko.
Nie twierdzę, że jak wszyscy tego używają to ja też mam, ale po prostu nikt nie znalazł rozwiązania, które by pozowliło uwolnic się od perla i spamassassina.
Na dzień dzisiejszy są juz w repezytorium wszystkie moduły dla spamassassina i sam spamassassin też już prawie jest.
Kto bedzie uzywal a kto nie to zalezy od kazdego admina ja nie kaze, ja tylko uwazam ze dobrze spelnia swoje zadanie.

_________________

Naprawdę ?! :> A topicowy ASSP ??


Jaki exim ?!? Ty chyba nie czytasz ze zrozumieniem. Serwer poczty masz (a w zasadzie TheL ma) na Novellu z Groupwise. Inny komputer, inny system. W takiej konfiguracji spisze się SMTP proxy... stąd pewnie pytanie o ASSP.


Być może jest to, obok niezadowolenia ze skuteczności już istniejących systemów było jedną z przyczyn, dla której Jonathan Zdziarski, jeden z czołowych ekspertów w tej dziedzinie, autor wielu książek o tematyce walki ze spamem np. http://www.amazon.com/exec/obidos/tg/de ... 593270526/ postanowił stworzyć własny system przeznaczony do walki ze spamem. Napisany w C++, szybki i konsumujący mało pamięci, a jednocześnie skuteczny i dobrze oceniany w zastosowaniach produkcyjnych jak i półamatorskich. Może też pracować jako SMTP proxy współpracując np.: z Microsoft Exchange Server. Na IPsec.pl napisali:

Nie chodzi o to żeby wogóle nie używać perla. Chodzi o to, że IMHO skrypty perla nie powinny być używane jako rdzeń systemów o dużym obciążeniu obliczeniowym. Gier, ba, nawet części gier nie piszą w perlu, chociaż do rozszerzenia funkcjonalności aplikacji napewno by się nadał. A jednak takie rzeczy robi się przeważnie w Lua (jeśli chodzi o gry). Także widzę to tak - rdzeń systemu w C++, a Perlu np. panel WWW, statystyki, przetwarzanie logów, itp. A co do gotowych modułów perla... Wydaje mi się, że używasz Apache'a, więc nie czujesz tematu. Perl jest szumnie określany jako "system independent". Fajnie, tylko dlaczego część perlowych cgi jest tak koszmarnie napisana, że uruchomienie ich na czymś innym niż wiodący produkt potrafi doprowadzić do obgryzania paznokci. Co to za otwartość ?! Przypomina mi to lekko politykę Microsoftu.

Zrobiło się mocno OT w stosunku do pierwszego postu, dlatego przeniosłem do Hyde Parku.
Nie mniej jednak dyskusja jest interesująca - zapewne przypomina nieco spór o wyższości Świąt Wielkiej Nocy... ale też daje sporo informacji...
W zasadzie chodzi tu o programy antyspamowe i ich działanie. Czerwo ma rację mówiąc o filtrach bayesowskich, ale nie do końca. Bo nie jest prawdą, że zasadniczą część zasobów systemowych pochłania analiza bayesowska. Sam język wysokiego poziomu też jest zasobożerny. Dlatego jeśli to samo będzie robił program napisany np. w c++, to procedura na pewno zostanie wykonana szybciej.
Obecnie mam na to już praktyczne dowody. Już w innym wątku pisałem, że pracuję nad paczką dspam do nnd. Najpierw zainstalowałem i testowałem w warunkach laboratoryjnych. A ponieważ na ogłoszenie jeszcze żaden tester się nie zgłosił, więc zainstalowałem i uruchomiłem to w warunkach produkcyjnych na własne ryzyko. Na serwerze jest około 35 użytkowników, wiekszość poczty to poczta urzędowa pisana zgodnie z modą naszych urzędów w html, z załącznikami i linkami - a więc poczta trudna dla filtrów antyspamowych.
Nauczyłem dspam wstępną porcją spamu i niespamu (łącznie około 200 maili)
Pierwsze efekty są zaskakująco dobre.
Program ma swoje zalety - przede wszystkim nie pożera zasobów systemowych. Jest szybki. Wygląda na to,że skuteczny.
Ma jednak swoje wady (choć mogą czasem być one zaletami). Wygląda na to, że sporo w nim zależy od indywidualnych użytkowników, tzn. skanowanie może inaczej przebiegać dla poszczególnych użytkowników. Nadaje się wg twórców na systemy o różnej wielkości, ale w wersji przeze mnie zrobionej raczej na małe systemy. Skonfigurowanie go z eximem i procmailem to była droga przez mękę, ale za to ktoś, kto zainstaluje paczkę dostanie już gotową i działającą z palca konfigurację. Pozostanie tylko przeprowadzić trening. Dla 35 użytkowników trwało to na średnim sprzęcie około dwóch godzin, łącznie z zapisaniem wszystkiego do bazy mysql (można obywać się bez tego).
Ponadto choć sam program jest w c++, to panel www, który być może warto uruchomić jest napisany w perlu i od wczoraj nie mogę sobie dać z nim rady, i szlag mnie na perla trafia, bo co doinstaluje to mi się drze o nowe moduły...
Dlatego nie dziwię się temu, co napisał orion o perlu, dziś po dość pracowitej nocy z perlem - miałbym ochotę komuś z twórców perla dobrze przyłożyć...
No i na koniec dodam jeszcze, że paczkę dspam przygotowałem przy wydatnej pomocy oriona - który wyszukiwał mi opisy konfiguracji, karmił mi serwerek spamem i pomagał opracować skrypty. Ostateczna paczka powstanie na pewno nie wcześniej niż za tydzień, ale jeśli ktoś będzie chciał potestować - dostanie ode mnie paczkę i wszelkie potrzebne wskazówki.

_________________
Belfer.one.PL
Audio Cafe

Jezeli listy sa z zlacznikami to zazwyczaj nie sa analizowane, zalezy to od rozmiaru zalcznika, a zalcznik w *.doc serwer i tak nie przeczyta ;D
Zgadzam sie ze jest szybszy i chetnie bym przeszedl ale niech to nie bedzie sam bajes bo jest za slaby!

_________________

Masz rację, sam filtr Bayesa nie sprawdzi się ponieważ z 50% spamu przejdzie. W pracy Spam Assassin przepuszcza mi około 7 do 8% spamu, co mnie już zadowala. Jedyne co mi się nie podoba to fakt, że sam nie mogę go trenować (nie jestem administratorem serwera poczty). Zapewniam cię, że DSPAM stosuje i testy Chi-Square i ocenę Markowa i chained tokens i BNR i inne... zresztą za jakiś czas może Maciek napisze coś o efektach.

Tekst z Nospam-pl.net:

Dlatego ja mam 2 konta ham@.... i spam@.... i kazdy user moze slac tam maile i jest z nich uczony.




Chetnie sprawdze ale najpierw niech to eMti zapaczkuje.

_________________

Wytłumaczcie mi, prosze, jedną rzecz - używamy programu napisanego w c++ żeby chodził szybciej i brał mało pamięci, a potem doczepiamy mu kotwicę w postaci procmaila (i przypuszczam że również formaila) żeby go zwolnić i zwiększyć obciążenie systemu... czegoś tu nie rozumiem - oba wymienione programy są dość znane z generowania sporych obciążen.

Dla mnie dpam ma jedną zasadniczą wadę - nie obsługuje whitelist. Nie chodzi mi o te, które sam sobie tworzy w procesie uczenia się. Chodzi mi o whitelist w postaci przygotowanego przez usera pliku z listą adresów (user@serwer), z których każdy mail może przejsć przez filtr bez względu na zawartość.

Drugą, już nieco mniejszą, wadą jest konieczność uczenia go zarówno spamem jak i nie-spamem. Według autorów programu aby uzyskać dużą skuteczność filtrowania należy dostarczyć mu spam i nie-spam w mniej więcej równych proporcjach. Zbyt dużo spamu w stosunku do nie-spamu spowoduje większą ilość fałszywych trafień. W systemach o niewielkim stosunkowo ruchu spowoduje to wydłużenie procesu uczenia się i tym samym zmniejszenie skuteczności filtra w początkowym okresie. Spamassassin uczy się głównie na spamie i swoją pełną wydajność osiągnie dużo szybciej

_________________
Mis'
___________________________________
"Real Men Use Telnet on port 80" (el bid)

A skąd masz taką informację, bo mogę powiedzieć że jest nieprawdziwa. A co za tym idzie wnioski wysunięte na jej podstawie.

A jak nie dochodzi do mnie spam, ale chciałbym zabezpieczyć serwer przy użyciu Spam Assasina na wszelki wypadek to w jaki sposób uzyskam skuteczność filtrowania już na starcie ?!

Jak juz pisalem stosujac czysty greylisting.

_________________
FAQ dla NND: http://nnd-linux.pl/faq.php
Doswiadczenie, to cos, co zdobywasz tuz po chwili w ktorej go potrzebowales.