Τι είναι crawler;

Crawler είναι ένα λογισμικό το οποίο έχουν πχ οι μηχανές αναζήτησης για να διαβάζουν τις ιστοσελίδες στο internet.

Ένας crawler σαρώνει το internet ακολουθώντας συνδέσμους - links, διαβάζει το περιεχόμενο της κάθε σελίδας, το αναλύει, το αξιολογεί και έπειτα το καταχωρεί στη μηχανή αναζήτησης για την οποία "δουλεύει".


Είναι ουσιαστικά ένα bot το οποίο κάνει αυτή τη δουλειά (το crawling) ασταμάτητα και με αυτόματο τρόπο.

Η κάθε μηχανή αναζήτησης όπως η google έχει και τον δικό της crawler.

Ένας τέτοιος όμως που βρίσκεται στο internet ονομάζεται και web crawler.

Μπορεί να υπάρχουν κι άλλοι που διενεργούν τοπικά σε έναν υπολογιστή, σαρώνοντας κάποιο υλικό με διάφορα κριτήρια τα οποία έχει θέσει αυτός που το έφτιαξε.

Διαβάστε στη συνέχεια τι είναι bot