.cp-tool { font-family: -apple-system, BlinkMacSystemFont, „Segoe UI“, Roboto, Helvetica, Arial, sans-serif; line-height: 1.6; color: #333; } .cp-panel { background-color: #fff; border: 1px solid #e0e0e0; border-radius: 12px; padding: 24px; box-shadow: 0 4px 12px rgba(0,0,0,0.08); } .cp-tool h3 { margin-top: 0; margin-bottom: 24px; font-size: 22px; color: #000; border-bottom: 1px solid #eee; padding-bottom: 12px; } .cp-row { margin-bottom: 20px; } .cp-tool label { display: block; font-weight: 600; margin-bottom: 8px; font-size: 15px; color: #444; } .cp-tool input[type=“text“], .cp-tool textarea { width: 100%; padding: 10px 12px; border: 1px solid #ccc; border-radius: 6px; font-size: 16px; box-sizing: border-box; transition: border-color 0.2s, box-shadow 0.2s; } .cp-tool input[type=“text“]:focus, .cp-tool textarea:focus { outline: none; border-color: #0a7d8c; box-shadow: 0 0 0 3px rgba(10, 125, 140, 0.2); } .cp-radio-group, .cp-checkbox-group { display: flex; flex-wrap: wrap; align-items: center; gap: 10px 20px; } .cp-radio-group label, .cp-checkbox-group label { font-weight: normal; margin-bottom: 0; cursor: pointer; display: inline-flex; align-items: center; gap: 8px; } .cp-tool input[type=“radio“], .cp-tool input[type=“checkbox“] { accent-color: #0a7d8c; width: 18px; height: 18px; cursor: pointer; margin: 0; } .cp-result-wrapper { margin-top: 24px; } .cp-tool #robotsResult { font-family: „Courier New“, Courier, monospace; background-color: #f9f9f9; color: #333; min-height: 150px; white-space: pre; overflow-x: auto; } .cp-tool button { background-color: #0a7d8c; color: #fff; border: none; border-radius: 6px; padding: 12px 18px; font-size: 16px; font-weight: 600; cursor: pointer; margin-top: 12px; transition: background-color 0.2s, transform 0.1s; } .cp-tool button:hover { background-color: #086b79; } .cp-tool button:active { transform: scale(0.98); } .cp-result-explainer { font-size: 14px; color: #666; margin-top: 12px; margin-bottom: 0; } .cp-fließtext { font-size: 16px; color: #333; line-height: 1.7; margin-top: 24px; padding: 0 4px; }

Die `robots.txt` ist eine einfache Textdatei, die im Hauptverzeichnis einer Webseite platziert wird, um Suchmaschinen-Crawlern wie Googlebot Anweisungen zu geben. Sie legt fest, welche Bereiche der Webseite von diesen Bots nicht durchsucht werden sollen. Dies ist nützlich, um den Zugriff auf administrative Bereiche, unwichtige Skript-Verzeichnisse oder doppelte Inhalte zu beschränken und somit das Crawl-Budget effizienter zu nutzen. Es ist wichtig zu verstehen, dass die `robots.txt` eine Richtlinie und kein undurchdringliches Verbot darstellt. Seriöse Crawler halten sich daran, bösartige Bots ignorieren die Regeln jedoch oft. Zudem verhindert ein `Disallow`-Eintrag nicht zwangsläufig die Indexierung einer Seite, wenn externe Links darauf verweisen. Für verbindliche Indexierungsverbote muss ein `noindex`-Meta-Tag verwendet werden. Die Angabe der Sitemap-URL in der Datei ist eine bewährte Methode, um Crawlern die Struktur der Webseite aufzuzeigen.