Deutschsprachiges NOF - Forum

Support und Tutorials rund um das Thema NetObjects Fusion

collapse

* Wichtige Mitglieder-Information

Da immer noch Mails verwunderter "Mitglieder" bei mir ankommen, weil Login und Registrierung nicht funktionieren... das Forum ist seit geraumer Zeit geschlossen und steht ausschließlich als Nachschlagewerk zur Verfügung. Einerseits bin ich froh, diesen Schritt gewagt zu haben... auf der anderen Seite... wenn ich hier manchmal so lese... es war doch "'ne geile Zeit" mit euch! Macht's gut!

Beste Grüße nettesekel

* Friendship

DER Katzenblog – mit tollen Tipps und Ideen für deine Katze(n) <3

Die letzten Beiträge

Autor Thema: robots.txt: notwendig/wo einfügen?  (Gelesen 2275 mal)

0 Mitglieder und 1 Gast betrachten dieses Thema.

Offline remigius

  • Neuling
  • *
  • Beiträge: 3
robots.txt: notwendig/wo einfügen?
« am: 22. September 2012, 08:24:19 »
Hallo,
da ich in meinem Website Report
viele 404 Fehler habe, die auf eine fehlende robots.txt Datei verweisen,
hier die frage:
brauche ich diese Datei und wo genau füge ich die ein?
Danke für Hilfe. Remigius

Offline nettesekel

  • Administrator
  • *****
  • Beiträge: 8181
Re: robots.txt: notwendig/wo einfügen?
« Antwort #1 am: 22. September 2012, 10:30:48 »
Hallo und willkommen im Forum,  (clap)

in aller Regel legt man eine robots.txt ins Rootverzeichnis , also dort hin, wo auch die index.html liegt.

l.g. nettesekel

Offline karl143

  • Community Mitglied
  • ***
  • Beiträge: 79
Re: robots.txt: notwendig/wo einfügen?
« Antwort #2 am: 22. September 2012, 23:12:13 »
Ich habe bisher immer eine robots.txt Datei mit hochgeladen. Allerdings habe ich auch keine Unterseiten, die bei der Überprüfung ausgeschlossen werden sollen. Bei Google habe ich vor kurzem gelesen, das in diesem Fall keine robots notwendig ist. Ist das dann so richtig, oder habe ich das falsch verstanden?

Offline nettesekel

  • Administrator
  • *****
  • Beiträge: 8181
Re: robots.txt: notwendig/wo einfügen?
« Antwort #3 am: 22. September 2012, 23:20:04 »
Also solange ich nichts "verbergen" wollte, habe ich auch keine robots.txt auf den Server gelegt. Wenn du sie eigentlich für nichts benötigst, würde ich mir darüber auch keine Gedanken machen.

Offline remigius

  • Neuling
  • *
  • Beiträge: 3
Re: robots.txt: notwendig/wo einfügen?
« Antwort #4 am: 23. September 2012, 08:43:06 »
Vielen Dank für eure Hilfe
Remigius

Offline karl143

  • Community Mitglied
  • ***
  • Beiträge: 79
Re: robots.txt: notwendig/wo einfügen?
« Antwort #5 am: 23. September 2012, 16:56:04 »
Ja, dann hatte ich das richtig verstanden. Ebenfalls danke.

Offline Karma

  • Supporter
  • *****
  • Beiträge: 105
Re: robots.txt: notwendig/wo einfügen?
« Antwort #6 am: 28. September 2012, 18:36:00 »
Hallo zusammen,

also ich bin der festen Überzeugung, dass man eine robot.txt im root Verzeichnis haben sollte.
Dadurch können verschiedene robots ec. ausgeschlossen bzw. geführt werden. Es halten sich zwar nicht alle robots daran, aber besser als keine robots.txt zu haben und zur Datenschleuder zu werden.

Beispiel:

User-agent: EmailCollector
Disallow: /
(hält eine der größten Email-Robots auf)

User-agent: ia_archiver
Disallow: /
(sorgt dafür, dass alle Einträge bei archive.org gelöscht werden ec.)

User-agent: *
Disallow: /cgi-data
(verschiedene Verzeichnisse nicht crawlen lassen)

Deutschsprachiges NOF - Forum

Support und Tutorials rund um das Thema NetObjects Fusion