Τι είναι robots.txt;

Robots.txt είναι ένα αρχείο κειμένου, το οποίο μπορούμε να το βάλουμε στο root της ιστοσελίδας μας ακριβώς με αυτήν την ονομασία, ώστε να το διαβάζουνε οι μηχανές αναζήτησης.

Μέσα σε αυτό μπορούμε να βάλουμε διάφορους κανόνες ώστε οι crawlers των μηχανών αναζήτησης πχ να μην διαβάζουν και να μην συμπεριλαμβάνουν στα οργανικά αποτελέσματά τους κάποιες ιστοσελίδες.


Για να το κάνουμε αυτό, δεν χρειάζεται να κάνουμε απολύτως τίποτα από το να τοποθετήσουμε το robots.txt στο root της ιστοσελίδας μας (πχ http://www.istoselida.gr/robots.txt) και να γράψουμε μέσα του τους κανόνες σωστά.

Έτσι έστω έχουμε 2 κανόνες που λένε να μην συμπεριλαμβάνουν οι μηχανές αναζήτησης στα αποτελέσματά τους τα υποσέλιδα:

http://www.istoselida.gr/contact.php
και
http://www.istoselida.gr/history.php

τότε αυτές όντως δεν θα τα συμπεριλάβουν.

Για το παράδειγμά μας και για τον crawler της google, γράφουμε μέσα στο robots:

User-agent: Googlebot
Disallow *contact.php
Disallow *history.php

και καθαρίσαμε.

Για να δείτε έναν πλήρη οδηγό στο πως να συντάσσετε τους κανόνες, μπορείτε να ανατρέξετε εδώ:

https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961

Διαβάστε στη συνέχεια τι είναι canonical url