Plik Robots.txt to plik tekstowy znajdujący się na serwerze internetowym, który zawiera instrukcje dla robotów wyszukiwarek dotyczące indeksowania witryny. Robots.txt jest często używany przez właścicieli witryn internetowych, aby kontrolować sposób, w jaki roboty wyszukiwarek indeksują ich witrynę.
Plik Robots.txt zawiera listę stron lub katalogów, które nie powinny być indeksowane przez roboty wyszukiwarek. Może także zawierać informacje o częstotliwości, z jaką roboty powinny indeksować stronę, jakie pliki powinny zostać zignorowane lub które roboty powinny mieć dostęp do witryny.
Plik Robots.txt jest zazwyczaj umieszczany w głównym katalogu serwera internetowego, który jest nazywany „root directory”. Kiedy robot wyszukiwarki odwiedza stronę internetową, najpierw wyszukuje plik Robots.txt w głównym katalogu serwera, aby uzyskać instrukcje dotyczące indeksowania witryny.
Właściwe użycie pliku Robots.txt może pomóc właścicielom witryn internetowych w kontrolowaniu tego, jak ich witryna jest indeksowana przez roboty wyszukiwarek. Może również pomóc w zapobieganiu indeksowaniu duplikatów treści, ograniczaniu indeksowania stron prywatnych lub chronionych hasłem oraz optymalizacji procesu indeksowania witryny.
