Krótko mówiąc - nie potrzebujesz robots.txt jeśli nie masz na stronie zawartości, którą chcesz blokować dla botów indeksujących.
Niemniej jednak brak robots.txt może oznaczać, że ten temat wcale nie był poruszony albo przemyślany podczas tworzenia strony. Bo często bywa, że jakaś część zawartości nie powinna być dostępna w Google.
Jeśli chcesz zablokować jakieś treści na swojej stronie to Google podaje kilka przykładów jak to zrobić: https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961
Mnie Google brak pliku roboty.txt wypominają jako błąd więc uznałem że jest obowiązkowy. Gdy cała strona WWW ma być ndeksowana przez roboty (tak jakby nie było pliku “robots.txt”) to wygląda tak:
