Alle Suchergebnisse von Google exportieren

FilOO

Angesehenes Mitglied
Tag zusammen

Wüsste jemand ein Tool, mit welchem ich alle Suchergebnisse bei Google exportieren könnte? Z.B. als csv, xls? Klingt zwar schon was "ab-gespaced", wenn ich oft Millionen von Ergebnissen exportiere.
laugh.gif


Wichtig für mich wäre nur, dass es jeweils die URL exportieren soll, nichts Weiteres.

Habe bereits einige Tools er'googlet, leider bin ich aber zu keinem befriedigenden Ergebnis gekommen.

Wenn es kein kostenloses Tool ist, so darf es auch was kosten...

Grüsse
filOO
 
Du kannst es allein aus dem Grund nicht machen, weil Google schneller neue Ergebnisse findet, als du abcrawlen kannst. Abgesehen von Speicher usw. Was willst du denn machen?
 
Api kostet halt:
https://developers.google.com/custom-search...api/v1/overview

Zur eigentlichen Anfrage:
Google blockt Massenabfragen ab. Du kannst dann über 10,20 IP-Adressen abfragen pi pa po.

...und musst Dich z.B. auf ein Set von vielleicht 10k, 20k Abfrage-Begriffen begrenzen und nur die ersten vielleicht 5 SERPS abfragen. Machen wohl die meisten Dienste auch, die "Visibility"-Reporte anbieten.

Ich sähe eher hier die Limitierung. Das bockt ja bei mir schon bei händischen Suchen rum. Warum sollte ein dämlicher Bot mehr Rechte haben...
wink.gif


Na ja: schliesse mich daher auch an: was willst Du überhaupt machen.
dry.gif
 
Danke für eure Antworten.

Habe mir in der Zwischenzeit mal das Firefox-Add-on iMacros installiert. Mit den diversen Codes mit Hilfe des Wikis konnte ich mir selber ein "Tool" zusammenbasteln. Exportiert wird auch in eine csv-Datei
biggrin.gif


Nun kann ich bei google eine Suche starten und anschliessend mein iMacros-Makro drüberlaufen lassen. Das CSV füllt und füllt sich mit allen Links der Suchergebnisse
smile.gif


Ach ja, ist halt mehr so als Spielerei gedacht und um einige Sachen auszuprobieren. Ist "noch" nichts konkretes, wozu ich sowas genau benötigen könnte. Vielleicht hättet ihr ja eine Idee, für was sowas gut sein könnte?

Grüsse
filOO
 
GENAU DAS interessiert mich auch!

Dieses captcha geht mir nämlich manchmal auf die Nerven. Jedenfalls bezweifle ich immer noch, dass das Vorgehen des Fragestellers zu sinnvollen Ergebnissen führt.

Wieviele Suchbegriffe lässt Du denn hintereinander durchsuchen und wieviele SERPs pro Begriff speicherst Du denn?
 
@Peter, es ist nicht allzu schwer zum umgehen.

Man nutzt TOR und Proxyswitcher und wechselt alle 10 Anfragen. Habe das natürlich nicht gemacht, sonst hätte ich ein zivilrechtliches Problem aber es würde sicherlich gehen.
 
Eben: ...ist das in der Software bereits eingebaut...? Das wäre natürlich "genial".

QUOTE sonst hätte ich ein zivilrechtliches Problem


Kommt halt drauf an, wie man das implementiert und wie schnell Google die Quelle rausfindet. LOL.
Aber klar: jeden Schaden, den man woanders verursacht, kann man berappen... Und eine Verlangsamung eines anderen Dienstes ist halt ein "Schaden".

Ich sag mal so: ich hatte mal einen Überfall auf die eigene Homepage. Also eine Verfünfzigfachung meines Traffics. Einiges klar anonymisiert, das andere aus irgendeinem Botnet (-> z.B. ein Knabeninternat in Australien). Meine Webseite verhielt sich sehr lahm.

Das dauerte drei Tage, bis ich das einigermassen im Griff hatte. Glücklicherweise kam der Traffik lediglich von ca. 1200 IP-Adressen.
Die 20 Top-Downloader - darunter ein Server von Elsevier, der etwa 5 Kopien meiner Webseite runterladete - habe ich sogar persönlich angeschrieben und auf ein Sicherheitsloch aufmerksam gemacht.

Bloss: was steckt dahinter? Da habe ich immer noch keine Ahnung.

Aber zurück zum Fragesteller: Es gibt bestimmt noch eine
Google TOS, die genau vorschreibt, was geht, und was nicht geht. Unter anderem könnte ich mir z.B. auch vorstellen, dass wenn die Suchergebnisse nicht "verarbeitet" werden und 1:1 irgendwo wiedergegeben werden, gewisse Rechte - womöglich Urheberrechte - von Google verletzt werden.

Hier einfach mal drauflosgesucht:
https://support.google.com/webmasters/answer/66357?hl=en

QUOTE Google's Terms of Service do not allow the sending of automated queries of any sort to our system without express permission in advance from Google. Sending automated queries consumes resources and includes using any software (such as WebPosition Gold) to send automated queries to Google to determine how a website or webpage ranks in Google search results for various queries. In addition to rank checking, other types of automated access to Google without permission are also a violation of our Webmaster Guidelines and Terms of Service.
 
Bisher habe ich nur mal getestet mit:

Suchbegriff: SEO
Land: Schweiz

Resultate kamen "nur" für 42 Seiten à 10 Links. Diese konnte ich mal exportieren (ca. 450 Links).
Dauer des Exports: Ca. 2 Minuten (Script ist noch im Entwicklungsstadion)
biggrin.gif


Wenn ich wiedermal Zeit habe, versuche ich es vielleicht mit einem Suchbegriff, welcher einige mehr Resultate als diese 450 liefert
wink.gif


Aber eben, wie Peter ja Zitiert hat, sind solche Automations-Tool verboten.... Daher möchte ich wohl nicht zu viel versuchen...

Gruss
 
Zurück
Oben