Keine Indexierung von Dateianhängen in Reitern?

Du hast ein Problem gefunden und weißt nicht genau wo es hinpasst...
Antworten
Kopernikus
Beiträge: 390
Registriert: Fr 19. Okt 2012, 12:15

Keine Indexierung von Dateianhängen in Reitern?

Beitrag von Kopernikus »

Grüsst Euch allerseits :)

Ich habe folgende Frage an Euch. Ich habe meine produktbezogenen Anhänge alle in die praktischen Reiter verschoben.Nun nach knapp 1 Monat Laufzeit meines neuen Webs Shop, bemerkte ich leider eine zum Teil massiv schlechtere Indexierung bei Google. Ich habe mich gefragt wieso das so ist und bin mal alle Möglichkeiten durchgegangen. Ein Punkt welcher ich mir vorstellen könnte, ist die Nichtindexierung meiner Anhänge bei Produkten. Ich publiziere zu vielen meiner Produkte allerlei Anleitungen die Google früher richtiggehend liebte. Suche ich nun in der Suchmaschine nach einem Anhang, erhalte ich keinen einzigen Treffer.

Schaut man sich die Links der Anhänge genauer an, wird ja jeweils in den Media Folder verlinkt.
In der mit webs mitgelieferten Robots steht jedoch am Schluss (siehe Robots unten)

Code: Alles auswählen

Disallow: /media/
Werden damit nicht automatisch alle Anhänge von einer Indexierung ausgeschlossen?
# If you use a XML-Sitemap file, remove the # and inform the crawler about it:
Sitemap: http://www.example.com/sitemap.xml.gz

Disallow: /*XTCsid*
Disallow: /*action=
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /account_password.php
Disallow: /address_book.php
Disallow: /address_book_process.php
Disallow: /advanced_search.php
Disallow: /checkout_confirmation.php
Disallow: /checkout_payment.php
Disallow: /checkout_payment_address.php
Disallow: /checkout_process.php
Disallow: /checkout_shipping.php
Disallow: /checkout_shipping_address.php
Disallow: /checkout_success.php
Disallow: /cookie_usage.php
Disallow: /create_account.php
Disallow: /create_guest_account.php
Disallow: /display_vvcodes.php
Disallow: /download.php
Disallow: /gv_redeem.php
Disallow: /gv_send.php
Disallow: /login.php
Disallow: /logoff.php
Disallow: /password_double_opt.php
Disallow: /popup_search_help.php
Disallow: /print_order.php
Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /product_reviews_write.php
Disallow: /reviews.php
Disallow: /shopping_cart.php
Disallow: /admin/
Disallow: /download/
Disallow: /export/
Disallow: /import/
Disallow: /includes/
Disallow: /pub/
Disallow: /media/
Xantiva
Beiträge: 948
Registriert: Mo 10. Mai 2010, 16:26
Shop Version: 1.0.10 [dev]
Kontaktdaten:

Re: Keine Indexierung von Dateianhängen in Reitern?

Beitrag von Xantiva »

Ich habe auch PDFs in einen Unterordner von media hochgeladen. Diese habe ich dann einfach freigegeben:

Code: Alles auswählen

Allow: /media/content/img/
Allow: /media/content/pdf/
Das Verhalten ist aber auch nicht neu, sondern schon seit der xtc 3.0.4 SP2.1 so.
Mein Shop: http://www.basteln-selbermachen.de
Kopernikus
Beiträge: 390
Registriert: Fr 19. Okt 2012, 12:15

Re: Keine Indexierung von Dateianhängen in Reitern?

Beitrag von Kopernikus »

Xantiva hat geschrieben:Ich habe auch PDFs in einen Unterordner von media hochgeladen. Diese habe ich dann einfach freigegeben:

Code: Alles auswählen

Allow: /media/content/img/
Allow: /media/content/pdf/
Das Verhalten ist aber auch nicht neu, sondern schon seit der xtc 3.0.4 SP2.1 so.
Hallo Mike

Herzlichen Dank für Deine Antwort.
Das Verhalten ist aber auch nicht neu, sondern schon seit der xtc 3.0.4 SP2.1 so.
Ok, dann muss ich diese offenbar unbewusst frei geschaltet haben. ;)

Sehe ich es richtig, dass du mit dieser Einstellung:

Code: Alles auswählen

Allow: /media/content/img/
Allow: /media/content/pdf/
dennoch

Code: Alles auswählen

Disallow: /media/
gesperrt hast?
Zuletzt geändert von Kopernikus am Mi 22. Mai 2013, 07:57, insgesamt 1-mal geändert.
Xantiva
Beiträge: 948
Registriert: Mo 10. Mai 2010, 16:26
Shop Version: 1.0.10 [dev]
Kontaktdaten:

Re: Keine Indexierung von Dateianhängen in Reitern?

Beitrag von Xantiva »

Genau, /media und alle Unterorder sind gesperrt, bis auf die, die explizit frei gegeben sind.

Ob das alles so passt, wie gewünscht, kannst Du auch gut in den Google WebmasterTools testen.
Mein Shop: http://www.basteln-selbermachen.de
Kopernikus
Beiträge: 390
Registriert: Fr 19. Okt 2012, 12:15

Re: Keine Indexierung von Dateianhängen in Reitern?

Beitrag von Kopernikus »

Hallo Mike

Im Zusammenhang mit der Optimierung meiner Robots.txt bin ich noch auf einen interessanten Bericht gestossen. Wie Du mir ja schriebst, hast Du gewünschte Ordner mit

Code: Alles auswählen

Allow: /media/content/img/
freigegeben. Nun, gemäss dem allgemeinen Robots.txt standard gibt es aber nur die disallow und keine allow Funktion. Bemerkt habe ich das erst, als ich mittels des folgenden Tools http://tool.motoricerca.info/robots-checker.phtml meine robots.txt testete. Da kam dann der folgende Text rot hinterlegt:
Allow: /media/pdfs/
Unknown command. Acceptable commands are "User-agent" and "Disallow".
A robots.txt file doesn't say what files/directories you can allow but just what you can disallow. Please refer to Robots Exclusion Standard page for more informations.
Bild

Und tatsächlich, im Robots exclusion Standard unter http://www.robotstxt.org/orig.html existiert offenbar keine allow: Funktion. Somit muss man explizit diejenigen Ordner ausschliessen, welche man nicht veröffentlicht haben möchte.

Nebenbei die Frage: Wieso sollte man den /media Ordner sperren lassen?
Xantiva
Beiträge: 948
Registriert: Mo 10. Mai 2010, 16:26
Shop Version: 1.0.10 [dev]
Kontaktdaten:

Re: Keine Indexierung von Dateianhängen in Reitern?

Beitrag von Xantiva »

Als quasi Monopolist ist für mich relevant, was Google dazu sagt. Was passiert, wenn Du mal eine der PDF URLs in den WebmasterTool prüfst?
Mein Shop: http://www.basteln-selbermachen.de
Antworten