[phpBB Debug] PHP Warning: in file [ROOT]/viewtopic.php on line 2342: file_get_contents(http://www.like-rank.com/profile.php?id=eyIwIjoicnN3IiwiMSI6IldhbGxhcyIsIjIiOiJuaWZyb3UiLCIzIjoiV2FsbGFzIiwiNCI6InJzdyIsIjUiOiJwZnJzOTEiLCI2IjoiV2FsbGFzIiwiNyI6InBmcnM5MSIsIjgiOiJvdGhlcm1vbWl4IiwiOSI6IldhbGxhcyIsIjEwIjoib3RoZXJtb21peCIsIjExIjoicGZyczkxIiwiMTIiOiJXYWxsYXMiLCIxMyI6InBmcnM5MSIsIjE0IjoiV2FsbGFzIiwiMTUiOiJvdGhlcm1vbWl4IiwiMTYiOiJwZnJzOTEiLCIxNyI6Im90aGVybW9taXgiLCIxOCI6InBmcnM5MSJ9): failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 213: file_get_contents(http://): failed to open stream: operation failed
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 265: file_get_contents(http://g.etfv.co/): failed to open stream: HTTP request failed! HTTP/1.1 403 Forbidden
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 274: file_put_contents([ROOT]/urltoico/img/.png): failed to open stream: Aucun fichier ou dossier de ce type
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 83: file_put_contents([ROOT]/urltoico/img/www.phpsources.org.pngB.PNG): failed to open stream: Aucun fichier ou dossier de ce type
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 84: imagepng([ROOT]/urltoico/img/www.phpsources.org.pngB.PNG): failed to open stream: Aucun fichier ou dossier de ce type
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 18: getimagesize([ROOT]/urltoico/img/www.phpsources.org.pngB.PNG): failed to open stream: Aucun fichier ou dossier de ce type
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 22: imagecreatefrompng([ROOT]/urltoico/img/www.phpsources.org.pngB.PNG): failed to open stream: Aucun fichier ou dossier de ce type
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 26: imagecopyresampled() expects parameter 2 to be resource, boolean given
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 27: imagepng([ROOT]/urltoico/img/www.phpsources.org.png): failed to open stream: Aucun fichier ou dossier de ce type
[phpBB Debug] PHP Warning: in file [ROOT]/urltoico/index.php on line 86: unlink([ROOT]/urltoico/img/www.phpsources.org.pngB.PNG): Aucun fichier ou dossier de ce type
Suivi URL fiche annuaire, blogs ...etc en PHP

Vous aimez ? Like-Rankez ;) Like-Rank


Suivi URL fiche annuaire, blogs ...etc en PHP

le Jeu 24 Avr 2014 12:06

Comment faire son outil de suivi des URL de ses fiches d'annuaires, de ses billets de blogs ...

///EDIT

Voir CODE iLuc ci-dessous

Dernière édition par rsw le Jeu 24 Avr 2014 16:39, édité 1 fois.




rsw





le Jeu 24 Avr 2014 15:42     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

RSW: je te reprend, filter_var() permet de vérifier le format d'une URL,
mais ne permet pas de vérifier si une url est accessible. :wink2:

c'est expliqué sur la page source que tu a ajouté.

filter_var() c'est un filtre de contrôle de certains formats (url, mail, adresse IP ... )
une url, peut être considérée comme valide (donc son format) avec filter_var()
mais elle peut très bien ne pas exister en vrai.

c'est la même chose que avec filter_var( ) FILTER_VALIDATE_EMAIL
ça permet de vérifier le format d'une adresse @mail.
cependant, une adresse mail bidon, sera considéré comme valide si son format est correct.

Code: Tout sélectionner
echo (filter_var('mon_adresse@mail-bidon.fr', FILTER_VALIDATE_EMAIL)) ? 'valide' : 'non valide';


ce code return -> valide

Si tu souhaite vérifier l'existence d'une page, il te faut utiliser CURL.

Tu accède avec CURL à l'adresse url que tu souhaite tester, puis tu récupère le code HTTP de l'entête.
Avec ce code -> curl_getinfo($ch, CURLINFO_HTTP_CODE);

Voici une petite fonction :
( par contre, cette fonction n'est pas fiable, certains serveurs sécurisent et empêchent ce genre de requêtes extérieur et renvoient un code HTTP page inexistante, alors que la page existe réellement. )

Je n'ai pas encore trouvé comment contourner le problème.

Code: Tout sélectionner
function test_website_is_UP($url, $code_http)
{
   
   $ch = curl_init($url);    
   curl_setopt($ch, CURLOPT_FRESH_CONNECT, false);
   curl_setopt($ch, CURLOPT_TIMEOUT, 25);
   curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 25);
   curl_setopt($ch, CURLOPT_HEADER, true);
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
   curl_setopt($ch, CURLOPT_NOBODY, true);
   curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Macintosh; PPC Mac OS X 10_5_8) AppleWebKit/534.50.2 (KHTML, like Gecko) Version/5.0.6 Safari/533.22.3" );
   curl_setopt($ch, CURLOPT_MAXREDIRS, 2);
        curl_exec($ch);
   
   if($code_http)
   {
      return curl_getinfo($ch, CURLINFO_HTTP_CODE);
      
   }else{
      
      return (curl_exec($ch)) ? true : false;
   }

   curl_close($ch);
   
}



Merci de : rsw



Wallas



le Jeu 24 Avr 2014 15:56     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

J’allai le dire tu m'a grillé la priorité Iluc :twisted:
c'est pas pour tester la présence d'un URL mais vérifier qu'une chaine de caractère représente une URL bien formé ( 'http://', '.com', pas de caractère spéciaux, etc.)



Merci de : rsw



nifrou



le Jeu 24 Avr 2014 16:34     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Promis ça n'arrivera plus. :happy:

Code: Tout sélectionner
function __test_priorite(){
   if(user == 'Nifrou'){
      
      return "Stop, tu n'a pas la priorité !";
      
   }else{
      
      return "Tu peux écrire";
   }
}



Merci de : rsw



Wallas



le Jeu 24 Avr 2014 16:38     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

:lol: super merci les gars je corrige le post





rsw



le Jeu 24 Avr 2014 18:31     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

iLuc a écrit:RSW: je te reprend, filter_var() permet de vérifier le format d'une URL,
mais ne permet pas de vérifier si une url est accessible. :wink2:


Il faut faire gaffe avec filter_var utilisé avec le paramètre FILTER_VALIDATE_URL car il va laisser passer aussi du mailto, ssh, ftp et telnet : pour lui c'est valide norme RFC 2396

Code: Tout sélectionner
var_dump(filter_var('mailto://test.com', FILTER_VALIDATE_URL));
var_dump(filter_var('ssh://test.com', FILTER_VALIDATE_URL));
var_dump(filter_var('ftp://test.com', FILTER_VALIDATE_URL));
var_dump(filter_var('telnet://test.com', FILTER_VALIDATE_URL)); 

string(17) "mailto://test.com"
string(14) "ssh://test.com"
string(14) "ftp://test.com"
string(17) "telnet://test.com"






pfrs91



le Jeu 24 Avr 2014 18:46     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Merci pour l'info, intéressante. :geek:

Perso, que ce soit pour URL ou Mail, je ne l'utilise plus filter_var() bien que j'avais essayé, trouvant que c'était plus simple. je m'était aperçu que ce filtre n'est pas fiable.

J'utilise ces deux regex, et ça fonctionne très bien:

Pour vérifier les url:
Code: Tout sélectionner
(preg_match('#^(http|https)://[\w-]+[\w.-]+\.[a-zA-Z]{2,6}#i', $domain)) ? TRUE : FALSE;


Pour vérifier les mails:
Code: Tout sélectionner
(preg_match('/^[a-z0-9_.-]+@[0-9a-z-_]+\.[0-9a-z.]+$/i', $mail)) ? TRUE : FALSE;





Wallas



le Jeu 24 Avr 2014 19:21     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Pareil :-) à l'ancienne ça fonctionne comme on veut au moins





pfrs91



le Jeu 24 Avr 2014 20:37     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Sinon en passant par php, tu as cette solution: http://www.phpsources.org/scripts92-PHP.htm



Merci de : rsw



othermomix



le Jeu 24 Avr 2014 23:44     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Bonsoir othermomix,

Les deux codes Phpsource,
Le problème est le même.

La première fonction si ton site est en 500, ou toute autre erreur,
le code te retournera que le site est accessible.

La seconde fonction, si le serveur est configuré pour envoyer une Code HTTP erreur aux BOT's,
ça reviens au même que la fonction que j'ai essayé de mettre au point en utilisant CURL.

Ça va t'indiquer que le site est en ligne, mais pas si le site est accessible.

L'avantage de CURL c'est de pouvoir spécifier un useragent, et en quelques sorte faire croire que tu te connectes à partir d'un navigateur.

Mais malheureusement, ça ne fonctionne pas dans le cas ou le serveur est bien en 200 si tu utilises un navigateur, mais qu'il renvoie un code d'erreur pour les autres. ( scrawlers et autres connexions à distance )

:geek:



Merci de : referenceur



Wallas



le Ven 25 Avr 2014 18:57     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

A toi de ne pas te faire passer pour un bot tout simplement.

Sinon, le mieux est de récupérer le source de chaque page et vérifier que l'url est dedans.
Mais ce n'est pas parce que tu récupères l'url d'une page dans le code que celle ci est affiché (il faut vérifier que chaque tag parent est visible ;))





othermomix



le Ven 25 Avr 2014 19:27     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Hello,
@othermomix qu'est ce que tu appelles "tag parent"?





pfrs91



le Lun 28 Avr 2014 11:03     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

othermomix a écrit:A toi de ne pas te faire passer pour un bot tout simplement.


Comme indiqué plus haut, même si tu te fait passer pour un navigateur, en modifiant l'user agent (Avec Php CURL). Certain serveur renvoie un code HTTP erreur. C'est une protection que certains serveur utilise.

Si tu connait une solution pour détourner le problème, je suis preneur. :wink2:
je n'ai pas été plus loin depuis, j'avais laissé de côté.

othermomix a écrit:Sinon, le mieux est de récupérer le source de chaque page et vérifier que l'url est dedans.
Mais ce n'est pas parce que tu récupères l'url d'une page dans le code que celle ci est affiché (il faut vérifier que chaque tag parent est visible ;))


Effectivement c'est une bonne idée, ça peut être une bonne solution. :geek:

pfrs91 a écrit:Hello,
@othermomix qu'est ce que tu appelles "tag parent"?


je pense qu'il veux dire par "tag parent",
les balises html : <body></body> <head></head> </html>

Qui sont des tags communs à toute les pages html quelques soit la version html,
Tu a obligatoirement les tags cités au dessus sur n'importe quel page html. :geek:

Et ils sont parents, puisque c'est des tags du premier niveau dans une structure html.





Wallas



le Lun 28 Avr 2014 17:22     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Hello,
merci de tes retours.
Tu pourras me filer en MP des serveurs qu arrivent à detecter le cURL? J'aimerais bien tester car logiquement on doit pouvoir passer incognito.
Ok pour les tags parents mais je ne comprends tjrs pas sa phrase. Tu peux avoir des pages complètement petées sans balise html ou body, si ton lien est dedans il est consideré comme un Backlink quand meme





pfrs91



le Lun 28 Avr 2014 18:46     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Je viens de t'envoyer un .mp avec un exemple :geek:



Merci de : pfrs91



Wallas



le Lun 28 Avr 2014 19:45     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

oui effectivement si tu as un
<div style="display:none"><div><div><a href="">...</a></div></div></div>
je pense pour ma part que le robot Google est assez intelligent pour ne pas le prendre en compte.
De plus, même si au mieux c'est un Backlink, cela n'apporte aucun trafic. Je fais pour ma part des backlinks qui rapportent du trafic, ne serait ce qu'un clic par mois ;)



Merci de : rsw



othermomix



le Lun 28 Avr 2014 21:50     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

othermomix a écrit:oui effectivement si tu as un
<div style="display:none"><div><div><a href="">...</a></div></div></div>
je pense pour ma part que le robot Google est assez intelligent pour ne pas le prendre en compte.
De plus, même si au mieux c'est un Backlink, cela n'apporte aucun trafic. Je fais pour ma part des backlinks qui rapportent du trafic, ne serait ce qu'un clic par mois ;)

Hello, merci de ta réponse.
Ça n'a rien a voir avec une question d'intelligence, display none ou du visibility hidden ça ne veut pas forcément dire que tu caches des liens, c'est juste que tu n'affiches pas un élément ds le navigateur au chargement de la page.
Avec le web 2.0 c'est très courant.
Tu as fais des tests sur le sujet?



Merci de : rsw



pfrs91



le Mar 29 Avr 2014 20:33     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

non je n'ai pas fait de test et n'en ferait pas. Effectivement, même caché ton lien sera considéré comme un Backlink. Par contre attention au ferme de liens cachés ;)

Mais au départ l'auteur du sujet demandait de suivre les url sur des fiches/annuaires/... donc je suppose qu'il veut que les liens soient visibles.
Pour ma part, si j'inscris mon site sur un annuaire ce n'est pas pour que le lien soit invisible mais pour avoir un backlink mais aussi un peu de trafic ;)





othermomix



le Mer 30 Avr 2014 00:07     Re : Suivi URL fiche annuaire, blogs ...etc en PHP      

Ok d'acc ;-)





pfrs91






Retourner vers Référencement

 


  • Articles en relation
    Réponses
    Vus
    Dernier message
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 21 invités
 


  • Information sur les posteurs
  • Wallas

    Impliqué
    Remerciements : 585
    Avatar du membre
    Liste annuaires 2014
    2172 Messages
    6 sur ce sujet
    Inscription Jan 2011
    site web
  • pfrs91

    Habitué
    Remerciements : 86
    Mon blog SEO / Web Jeromeweb.net
    312 Messages
    6 sur ce sujet
    Inscription Oct 2012
    site web
  • othermomix

    Occasionnel
    Remerciements : 18
    Avatar du membre
    75 Messages
    4 sur ce sujet
    Inscription Mar 2014
    site web
  • rsw

    Impliqué
    Remerciements : 563
    Avatar du membre
    Optimisez le potentiel naturel de votre site Internet
    audit optimisation seo
    3872 Messages
    2 sur ce sujet
    Inscription Mai 2011
    site web
  • nifrou

    Administrateur
    Remerciements : 862
    Avatar du membre
    Conseil n°1 : Grace au Like-Rank, notez et promouvez vos contenus les plus interressant
    3040 Messages
    1 sur ce sujet
    Inscription Fév 2008
    site web

allez en bast