Strony internetowe nieustannie przeszukiwane są przez boty, między innymi te których głównym zadaniem jest indeksowanie odwiedzanych witryn. Ponieważ twórcy stron na ogół nie chcą, aby do indeksów wyszukiwarek trafiały wszystkie możliwe zasoby znajdujące się na ich serwerach, powstał mechanizm o nazwie Robots Exclusion Protocol. Pozwala on wykluczyć wybrane podstrony, a jednym z jego składników jest […]