Nein, ein Roboter. txt-Datei ist für eine Website nicht erforderlich. Wenn ein Bot auf Ihre Website kommt und keinen hat, durchsucht er einfach Ihre Website und indexiert Seiten wie gewohnt. … txt-Datei wird nur benötigt, wenn Sie mehr Kontrolle darüber haben möchten, was gecrawlt wird.
Was passiert, wenn Sie keine Robots Tx haben?
Roboter. txt ist völlig optional. Wenn Sie einen haben, werden standardkonforme Crawler ihn respektieren, wenn Sie keinen haben, ist alles, was in HTML-META-Elementen (Wikipedia) nicht verboten ist, durchsuchbar. Die Website wird ohne Einschränkungen indexiert.
Kann ich Robots txt löschen?
Du musst beide Linien von deinen Robotern entfernen. txt-Datei. Die Robots-Datei befindet sich im Root-Verzeichnis Ihres Webhosting-Ordners, diese befindet sich normalerweise in /public_html/ und Sie sollten diese Datei bearbeiten oder löschen können mit: FTP mit einem FTP-Client wie FileZilla oder WinSCP.
Ist Robots TXT sicher?
Die Roboter. txt Datei ist selbst keine Sicherheitsbedrohung, und ihre korrekte Verwendung kann aus nicht sicherheitsrelevanten Gründen eine bewährte Vorgehensweise darstellen. Sie sollten nicht davon ausgehen, dass alle Web-Roboter die Anweisungen der Datei befolgen werden.
Warum ist Robots TXT schlecht?
Einfach eine Liste von URLs hinzufügen, die für einen Robot privat sein sollen. txt-Datei ist eine der schlechtesten Möglichkeiten, URLs zu verbergen, und führt in den meisten Fällen zu genau dem Gegenteil des beabsichtigten Ergebnisses.
