Script 'intelligent' de détection des spams sur le forum
le Mer 29 Juin 2011 20:58
Je viens de terminer de coder un filtre de detection automatique de spam (j'en avait marre du spam bien bourrin).
n°2 : Restez informé, suivez toutes les actualités du référencement et des moteurs de recherches
Je viens de terminer de coder un filtre de detection automatique de spam (j'en avait marre du spam bien bourrin).
n°2 : Restez informé, suivez toutes les actualités du référencement et des moteurs de recherches
Wahou!
Pour tes bigrammes tu utilises ce type de fréquences ?
http://goo.gl/yrX3g
Lexique informatique - referencement anglophone
-
rsw
Like Rank Total : 5.5 - Actif
- Messages : 2101
- Inscription : Mar 24 Mai 2011 13:43
- Localisation : Paris
Oui exactement.
Par contre moi je prends tous les caractères car je ne m'intéresse pas au sens du texte mais à corrélation entre texte brut et spam.
Voila les miens
spam/ok.csv
et
spam/bad.csv
n°2 : Restez informé, suivez toutes les actualités du référencement et des moteurs de recherches
Oui, un corpus adapté aux posts sur Fofo 
un peu différent de la linguistique générale !
Sacré truc que tu fais...
Dernière édition par rsw le Mer 29 Juin 2011 22:00, édité 1 fois.
depannage informatique - referencement
-
rsw
Like Rank Total : 5.5 - Actif
- Messages : 2101
- Inscription : Mar 24 Mai 2011 13:43
- Localisation : Paris
Si cela fonctionne bien, je supprimerais une grosses partie des autres sécurités qui sont gênantes pour les utilisateurs
n°2 : Restez informé, suivez toutes les actualités du référencement et des moteurs de recherches
nifrou a écrit://,16
Fini mes listes d'annuaires 
edit: et pour mesurer l'angle tu fais de la décomposition factorielle, genre tableau de rang 1 ?
nifrou a écrit://,16
depannage ordinateur - depannage portable
-
rsw
Like Rank Total : 5.5 - Actif
- Messages : 2101
- Inscription : Mar 24 Mai 2011 13:43
- Localisation : Paris
ok! (Genre j'ai tout compris 
)
Et bin! v'là le bouzin! sacrée bête l'admin
Dépannage portable - Blog referencement
-
rsw
Like Rank Total : 5.5 - Actif
- Messages : 2101
- Inscription : Mar 24 Mai 2011 13:43
- Localisation : Paris
rsw a écrit:nifrou a écrit://,16
Fini mes listes d'annuaires
Bien vu pour le "//", y'a aussi "ht", ur , rl de mal placé
évite aussi le double espaces -> 251
Mais apres le script automituqe ne vire que je veut qu'il doit virer.
Cella dépendras surtout des SPAM que je lui donnerait à manger.
J'ai l'intention de le mettre à la diète, je lui donnerais que les corpus qu'il auras mal évalué.
Sinon je connais pas grand chose dans le domaine et suit assez limité, mais j'ais été bien briffé sur le TAL il y'a quelque temps.
rsw a écrit:
nifrou a écrit://,16
n°3 : Vous appréciez une discussion, augmentez sont Like Rank afin d'en faire profiter les autres membres
Vous appréciez la réponse d'un membre, remerciez-le en votant dans sa page de profil (cliquez sur son nom pour l'ouvrir)
J'ai fait un petit formulaire pour tester => TestSpamScore.php
n°2 : Restez informé, suivez toutes les actualités du référencement et des moteurs de recherches
C'est de la balle !! Yes
Plus un seul spam et même plus un seul lien dans les posts
Ouf, nous allons enfin respirer et les "cupides du lien à gogo" vont disparaitre pour laisser place à la sérénité que ce forum avait depuis 2009.
Tu vas aussi faire le nettoyage de la base actuelle 
M'enfin j'ai déjà trouvé une parade pour poser des liens tout de même...
et oui les salopios : il nous faudra simplement déposer une image en pièce jointe contenant le lien 
Non je déconne mais c'est cool parce qu'entre un conseil à donner sur un site mal optimisé et un petit bout de fesse en photo qui trainait ici et là ces derniers temps, c'était tentant 
Merci Nifrou, tu es un King et il fallait y penser !
Par contre si tu peux mettre en place un système de "modération active" avec le bouton signaler du style : au bout de 3 signalisations, le post passe en invisible et est soumis à la modération
8 crédits nécessaire (1 ligne(s) + 4 Lien(s) en signature + 0 profil WWW + 0 mise(s) en forme)
Vous avez seulement 5 crédits de disponible :(
Vérifiez les nouvelles rêgles des signatures du forum, SVP
-
referenceur
Like Rank Total : 3 - Actif
- Messages : 2000
- Inscription : Sam 31 Oct 2009 19:21
- Localisation : Lyon
Merci référenceur, c'est pas encore parfait il faut encore entrainer le système.
Je viens d'avoir 1 faux positif (pour quasiment 20 messages) et 4 vrai négatif (pour 6 spams).
Voila de quoi nourrir le script , surtout pour les faux positif qui n'avait pas beaucoup de données.
J'en ai aussi profité pour faire des test, verdict cela fonctionne mieux avec des trigrammes.
Mais ce test anti-spam ne peut pas rivaliser avec l'intelligence d'un humain qui se contente juste de faire un peut trop sa promotion.
Dans ces cas la , la frontière entre les deux dépend plus du jugement personnel que de signature particulières.
Par contre si tu peux mettre en place un système de "modération active" avec le bouton signaler du style : au bout de 3 signalisations, le post passe en invisible et est soumis à la modération
c'est une bonne idée, mais il ya faudrait pas que ce soit détourné pour être utilisé comme arme contre quelqu’un
Par contre si tu peux mettre en place un système de "modération active" avec le bouton signaler du style : au bout de 3 signalisations, le post passe en invisible et est soumis à la modération
n°1 : Essayez SEO Soft, le logiciel de référencement open source
referenceur a écrit:Non je déconne mais c'est cool parce qu'entre un conseil à donner sur un site mal optimisé et un petit bout de fesse en photo qui trainait ici et là ces derniers temps, c'était tentant
Plus que tentant, je passait mes journées sur la toile Russe plutôt que sur mes sites.... 
Nan, sans déc. très bien et bien pensé Nifrou. Certainement plus efficace à long terme qu'une bête détection de caractères cyrilliques ou un truc comme ça.
Allez zou, continue comme ça
referenceur a écrit:Non je déconne mais c'est cool parce qu'entre un conseil à donner sur un site mal optimisé et un petit bout de fesse en photo qui trainait ici et là ces derniers temps, c'était tentant
-
Msmedical
Like Rank Total : 1.5 - Actif
- Messages : 68
- Inscription : Mer 27 Avr 2011 08:40
- Localisation : EPERNON
Ouais, ou faudrait inventer un log de reconnaissance rectale...
Hotel Saint Just Saint Rambert - Creation site web Saint-Etienne
-
SuperNova
Like Rank Total : 8 - Actif
- Messages : 1298
- Inscription : Jeu 7 Avr 2011 10:07
- Localisation : Proxima Centauri
c'est une bonne idée, mais il ya faudrait pas que ce soit détourné pour être utilisé comme arme contre quelqu’un
Pour cela, il faudrait avoir plusieurs comptes mais ce n'est plus possible... puis comme le message serait déplacé en modération (et non réellement supprimé) durant 1 journée seulement, ce n'est pas bien grave d'attendre qu'un modo valide ou non le message
Merci encore pour tout le boulot qui tu donnes sur ce forum. Tu es "the best"
c'est une bonne idée, mais il ya faudrait pas que ce soit détourné pour être utilisé comme arme contre quelqu’un
8 crédits nécessaire (1 ligne(s) + 4 Lien(s) en signature + 0 profil WWW + 0 mise(s) en forme)
Vous avez seulement 5 crédits de disponible :(
Vérifiez les nouvelles rêgles des signatures du forum, SVP
-
referenceur
Like Rank Total : 3 - Actif
- Messages : 2000
- Inscription : Sam 31 Oct 2009 19:21
- Localisation : Lyon
Chapeau bas à Nifrou, vraiment très fort
Il me vient quelques interrogations...
1/Lorsque l'on constate les posts Russes (ils ont toujours été très forts ), ces derniers restaient tout de même assez longtemps présents sur le site... Je sais que Nifrou doit avoir un planning de ministre et que son temps est précieux, mais ne manque t'il pas des modérateurs pour le forum ? Néanmoins l'idée de referenceur est excellente : la modération active.
2/@Nifrou
Déposes tu des brevets de toutes tes formules, soft, etc ? La réponse n'est pas nécessaire, cela ne me regarde pas, c'était juste une interrogation et un conseil au passage si cela n'était pas fait
-
laurent59
Like Rank Total : 2.5 - Actif
- Messages : 524
- Inscription : Mer 29 Avr 2009 11:16
- Localisation : Lille
merci
1/ oui si il avait plus de modo, les spam resterait certainement moins longtemps
effectivement la modération active serait bien, je l'ai déjà mis dans ma to-do list (elle est classé dans le bas du listing)
2/ non je ne dépose rien et n'emploie trop de temps et d'énergie dan ce sens.
La liste de choses que j'aimerais bien faire se remplit bien plus vite que je n'arrive a la traiter, donc ;
J'ai choisit d'utiliser un max de mon temps pour coder/améliorer/développer de nouvelles choses.
Personnellement je trouve que l'attitude de trop se protéger de la copie et mauvaise car trop angoissante et favorise les concurrent moins frileux qui ont eut le temps de mettre ce service en place.
n°3 : Vous appréciez une discussion, augmentez sont Like Rank afin d'en faire profiter les autres membres
Vous appréciez la réponse d'un membre, remerciez-le en votant dans sa page de profil (cliquez sur son nom pour l'ouvrir)
nifrou a écrit:1/ oui si il avait plus de modo, les spam resterait certainement moins longtemps
C'est payé combien ?
nifrou a écrit:Personnellement je trouve que l'attitude de trop se protéger de la copie et mauvaise car trop angoissante et favorise les concurrent moins frileux qui ont eut le temps de mettre ce service en place.
On remarque bien là que tu sais ce que signifie le mot "service" ! C'est tout à ton honneur, faut juste que ton travail soit respecté et non pas plagié 
nifrou a écrit:1/ oui si il avait plus de modo, les spam resterait certainement moins longtemps
nifrou a écrit:Personnellement je trouve que l'attitude de trop se protéger de la copie et mauvaise car trop angoissante et favorise les concurrent moins frileux qui ont eut le temps de mettre ce service en place.
-
laurent59
Like Rank Total : 2.5 - Actif
- Messages : 524
- Inscription : Mer 29 Avr 2009 11:16
- Localisation : Lille
Ah pas bête !
Mais ceux-là ne font pas trop de mal et ils peuvent d'ailleurs se mettre à poils, cela ne nous incommodera pas ici contrairement aux récentes vagues de spam russes que nous avons subies
8 crédits nécessaire (1 ligne(s) + 4 Lien(s) en signature + 0 profil WWW + 0 mise(s) en forme)
Vous avez seulement 5 crédits de disponible :(
Vérifiez les nouvelles rêgles des signatures du forum, SVP
-
referenceur
Like Rank Total : 3 - Actif
- Messages : 2000
- Inscription : Sam 31 Oct 2009 19:21
- Localisation : Lyon
Oups j'oubliais : Normalement ici tout le monde s'aime et s'apprécie (TOUS oui oui !) et il n'y a pas de cons
Bienvenue Hernana car je n'ai pas eu l'occaz de te le dire
8 crédits nécessaire (1 ligne(s) + 4 Lien(s) en signature + 0 profil WWW + 0 mise(s) en forme)
Vous avez seulement 5 crédits de disponible :(
Vérifiez les nouvelles rêgles des signatures du forum, SVP
-
referenceur
Like Rank Total : 3 - Actif
- Messages : 2000
- Inscription : Sam 31 Oct 2009 19:21
- Localisation : Lyon
Je vient de mettre le test anti-spam a été mis à jours.
Il avait deux bugs très important.
1er => bug de la segmentation grosse incidence encore plus pour les petit messages.
2ème => problème de gestion des caractères spéciaux (cela fonctionne pourtant bien en version de DVP :/ )
Dans le cous le filtre se trompait très souvent alors que mes test en local me trompait et me fesait penser que les résultats été bien meilleurs.
n°1 : Essayez SEO Soft, le logiciel de référencement open source
merci à ceux qui ont cliqué pour rapporter les erreurs de filtrage, ça m'a aidé à trouver le problème.
n°3 : Vous appréciez une discussion, augmentez sont Like Rank afin d'en faire profiter les autres membres
Vous appréciez la réponse d'un membre, remerciez-le en votant dans sa page de profil (cliquez sur son nom pour l'ouvrir)
Je vient de modifier l'algorithme (grâce aux erreurs qui sont logué ) afin qu'il soit plus précis.
n°2 : Restez informé, suivez toutes les actualités du référencement et des moteurs de recherches
-
36positions
Like Rank Total : 3.5 - Actif
- Messages : 2305
- Inscription : Mar 9 Aoû 2011 12:10
- Localisation : Caen
question à 100 points :
lorsque l'on répond et que c'est bloqué à 'injuste raison' reçois-tu réellement le signalement ?
(au moins le contenu de ce que l'on avait voulu mettre ...)
fonds d'écran gratuits - fonds d'écran NARUTO -
Il faudrait surtout qu'il bloque réellement les spams, je n'ai pas l'impression qu'il soit bien efficace contre le SPAM.
Référencement de site internet avec paiement au résultat et avant tout il faudra procéder à la Création de site internet
bg62 a écrit:question à 100 points :
lorsque l'on répond et que c'est bloqué à 'injuste raison' reçois-tu réellement le signalement ?
(au moins le contenu de ce que l'on avait voulu mettre ...)
Je les places automatiquement dans ce répertoire.
http://forum.webmaster-rank.info/spam/fauxspam/?C=M;O=D
pour pouvoir les utiliser pour nourir la base de reconnaissance et tester mes modifs d'algo.
milano a écrit:Il faudrait surtout qu'il bloque réellement les spams, je n'ai pas l'impression qu'il soit bien efficace contre le SPAM.
Depuis la modification, aucun faux positif ou vrai négatif n'est à déplorer.
Il bloquait tout de même + de 90% des tentatives, ce qui décourageait instantanément les spammeurs de faire d'autres tentatives, (évidement celui qui arrive à passer il n'hésite pas a recommencer).
Et la avec l'amélioration que je vient d'effectuer, il devrait déjà y en avoir beaucoup moins qui passes.
Cela iras en s'améliorant lorsque j'aurais nourrit le système avec des erreurs pour améliorer sa base de reconnaissance.
bg62 a écrit:question à 100 points :
lorsque l'on répond et que c'est bloqué à 'injuste raison' reçois-tu réellement le signalement ?
(au moins le contenu de ce que l'on avait voulu mettre ...)
lorsque l'on répond et que c'est bloqué à 'injuste raison' reçois-tu réellement le signalement ?
(au moins le contenu de ce que l'on avait voulu mettre ...)
milano a écrit:Il faudrait surtout qu'il bloque réellement les spams, je n'ai pas l'impression qu'il soit bien efficace contre le SPAM.
n°3 : Vous appréciez une discussion, augmentez sont Like Rank afin d'en faire profiter les autres membres
Vous appréciez la réponse d'un membre, remerciez-le en votant dans sa page de profil (cliquez sur son nom pour l'ouvrir)
Ah ben si il bloque aussi le spam ok. J'avais l'impression qu'on était les seuls à se faire bloquer régulièrement.
En tout cas, bravo d'avoir codé un truc si compliqué alors que tu pouvais faire simple avec des modules existants.
Avec ou sans installation trouvez le bon système de sécurité. Alarme, vidéosurveillance, automatisme, coffre fort... alarme protection
milano a écrit:Ah ben si il bloque aussi le spam ok. J'avais l'impression qu'on était les seuls à se faire bloquer régulièrement.
En tout cas, bravo d'avoir codé un truc si compliqué alors que tu pouvais faire simple avec des modules existants.
Ca sent la critique!
milano a écrit:Ah ben si il bloque aussi le spam ok. J'avais l'impression qu'on était les seuls à se faire bloquer régulièrement.
En tout cas, bravo d'avoir codé un truc si compliqué alors que tu pouvais faire simple avec des modules existants.
En tout cas, bravo d'avoir codé un truc si compliqué alors que tu pouvais faire simple avec des modules existants.
referencement naturel,Adwords:Refeo.fr
-
36positions
Like Rank Total : 3.5 - Actif
- Messages : 2305
- Inscription : Mar 9 Aoû 2011 12:10
- Localisation : Caen
36positions a écrit:Ca sent la critique!
non pas forcément
j'ai voulu mettre :
la vieille d'en face > observer
et hop, bloqué ... donc j'ai signalé ...
36positions a écrit:Ca sent la critique!
la vieille d'en face > observer
fonds d'écran gratuits - fonds d'écran NARUTO -
Je pense surtout que si il devient super efficace et si il est externisable (houlala ca doit pas se dire ça), Nifrou devrait en faire une API elle aurait du succès !!! En tout cas bravo !
Site de rencontre gratuite
Critique, non pas vraiment mais c'est quand même agaçant de se faire bloquer quand on voit du spam juste au dessus.
Obtenez jusqu'à 5 devis comparatifs gratuitement pour votre référencement : devis référencement naturel
Pour se faire une idée
La dernières version est en prod depuis depuis quasiment 24H
(nouvelle algo = base de définition de spams à mettre à jours).
287 spams bloqué => http://forum.webmaster-rank.info/spam/blocked/?C=M;O=D
2 vrai négatifs, je travaille dessus pour voir si c'est un bug ou si je doit juste incorporer ces textes a la base de définition de spams.
0 faux positif reporté => http://forum.webmaster-rank.info/spam/fauxspam/?C=M;O=D
ps: Je ne vise pas l'absolue pour cette algo, ça n'existe pas.
Je travaille sur cette algo en boucle: j'améliore l'algo -> je recueille les erreurs -> j'améliore l'algo, et je n'ai pas encore finit
n°2 : Restez informé, suivez toutes les actualités du référencement et des moteurs de recherches
J'ai trouvé et corrigé le bug qui empêchait la détection des 2 spams.
un grosse erreur dans le calcul de pondération pour les mots qui n’étais pas dans la liste blanche (de 1200% 
)
... to be continued
j'ai repassé dans une moulinette une base 1700 spams et 115 texte valides.
0 erreurs de détections au lieu de 5 vraie négatif avant la corrections. ( 27 erreurs au total sur cette même base il à 48H)
n°3 : Vous appréciez une discussion, augmentez sont Like Rank afin d'en faire profiter les autres membres
Vous appréciez la réponse d'un membre, remerciez-le en votant dans sa page de profil (cliquez sur son nom pour l'ouvrir)
36 messages • Page 1 sur 1
Retourner vers Le site, l'annuaire, le forum
• Eviter le spam pour le référencement 10/05/2012
• Forum où vous pouvez faire la publicité de votre site 09/03/2009
• Air gun forum 29/09/2009
• Nous recherchons des modérateurs pour forum. 29/12/2009
• Je souhaite promouvoir mon forum 06/03/2010
• Astuce pur créer un forum gratuit 22/04/2010
• Comment booster une nouvelle section de forum? 22/03/2011