menu
Οικονομία Τεχνολογία Internet Σπίτι Άνθρωπος Ένδυση Φαγητό Πολιτισμός Διάφορα Υπολογιστές Ομορφιά Υγεία Φύση Εργασία Αθλητισμός Επιχειρήσεις Οχήματα
/ INTERNET / ROBOTS.TXT

Τι είναι robots.txt;

Robots.txt είναι ένα αρχείο κειμένου, το οποίο μπορούμε να το βάλουμε στο root της ιστοσελίδας μας ακριβώς με αυτήν την ονομασία, ώστε να το διαβάζουνε οι μηχανές αναζήτησης.

Μέσα σε αυτό μπορούμε να βάλουμε διάφορους κανόνες ώστε οι crawlers των μηχανών αναζήτησης πχ να μην διαβάζουν και να μην συμπεριλαμβάνουν στα οργανικά αποτελέσματά τους κάποιες ιστοσελίδες.

Για να το κάνουμε αυτό, δεν χρειάζεται να κάνουμε απολύτως τίποτα από το να τοποθετήσουμε το robots.txt στο root της ιστοσελίδας μας (πχ http://www.istoselida.gr/robots.txt) και να γράψουμε μέσα του τους κανόνες σωστά.

Έτσι έστω έχουμε 2 κανόνες που λένε να μην συμπεριλαμβάνουν οι μηχανές αναζήτησης στα αποτελέσματά τους τα υποσέλιδα:

http://www.istoselida.gr/contact.php
και
http://www.istoselida.gr/history.php

τότε αυτές όντως δεν θα τα συμπεριλάβουν.

Για το παράδειγμά μας και για τον crawler της google, γράφουμε μέσα στο robots:

User-agent: Googlebot
Disallow *contact.php
Disallow *history.php

και καθαρίσαμε.

Για να δείτε έναν πλήρη οδηγό στο πως να συντάσσετε τους κανόνες, μπορείτε να ανατρέξετε εδώ:

https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961

Είδαμε τι είναι robots.txt, διαβάστε στη συνέχεια τι είναι canonical url



Τι είναι οργανικά αποτελέσματα;Οργανικά αποτελέσματα είναι τα αποτελέσματα που προκύπτουν αφού...
Τι είναι μηχανή αναζήτησης;Μηχανή αναζήτησης είναι κάτι πολύ απλό σαν έννοια αλλά πολύπλοκο...
Τι είναι indexed page;Indexed page είναι η ιστοσελίδα ή το υποσέλιδο μιας ιστοσελίδας...
Τι είναι keywords;Keywords είναι οι ξακουστές σε όλους μας λέξεις κλειδιά που με...
Τι είναι serp;Serp είναι τα αρχικά των λέξεων search engine ranking page και...
Τι είναι bot;Bot είναι κάτι σαν πρόγραμμα το οποίο επιτελεί ένα συγκεκριμένο...
Τι είναι crawler;Crawler είναι ένα λογισμικό το οποίο έχουν πχ οι μηχανές αναζήτησης...
Τι είναι de-listing;De-listing είναι η διαδικασία κατά την οποία μία μηχανή αναζήτησης...
Τι είναι sitemap;Sitemap είναι ένας χάρτης μίας ιστοσελίδα που έχει μέσα του links...


/ INTERNET / ROBOTS.TXT