FTP Upload von 100'000 Pics

D

dandelion

Aktives Mitglied
Hallo,

Ich muss auf meinen dedicated Server ca. 100'000 Bilder (in verschiedenen Verzeichnissen und Unterverzeichnissen) hochladen. Dies ist gar nicth so einfach, weil ich ständig Fehlermeldungen kriege. Der Internet Explorer (mit ftp://ftp....) ist überfordert, sobald man mehrere tausend Files kopieren will; auch habe ich das Tool PSFTP Professional ausprobiert - auch da
kriege ich Fehlermeldungen (Memory overflow), wenn ich das ganze Hauptverzeichnis kopieren will. Gibt es denn wirklich keinen zuverlässigen Weg, ein Verzeichnis mit vielen Bildern auf einen Server hochzuladen ? Ich wäre für jeden Hinweis dankbar !

Philipp
 
Hm, das sind schon etwas viele Dateien
huh.gif

Müssten ja auch grössenmässig ziemlich viele Megabytes sein, und da werden wohl die meisten FTP-Programme ein Problem haben - dafür sind die einfach nicht ausgelegt.
Falls es nicht unterbunden ist, würd ich das über einen Laufwerksmap machen. Also genauso, wie man im lokalen Netzwerk auf den Fileserver zugreift. Aus sicherheitstechnischen Gründen sollte sowas heutzutage eigentlich nicht mehr möglich sein, aber vielleicht könnte man es ja temporär und nur für Deine IP zulassen.

Sonst würd ich sagen, brenn die Dateien auf CD oder tu sie auf einen USB-Stick oder so ähnlich, und schick sie dem Hoster, dass der sie auf den Server tut. Vielleicht ist das dem sogar lieber, als wenn die Leitung stundenlang ausgelastet ist ;-)

Griessli
Irene
 
Am meisten Sinn würde machen, die Dateien in ein TAR-Archiv oder ähnliches (ZIP, etc) zu packen, dass man dann hinterher auf dem Server wieder leicht entpacken kann.
Das macht es zwar nicht schneller, aber man spart sich den ständigen Auf- und Abbau der Leitung, die bei der FTP-Übertragung bei jeder Datei neu stattfindet.

Wenn der Server Webdav Unterstützt, wäre das eventuell eine Alternative, weil das Protokoll neuer ist und Repository-Tools (TortoiseSVN, tigris.org) einen Abgleich von großen Datenmengen ermöglichen.

QUOTE Vielleicht ist das dem sogar lieber, als wenn die Leitung stundenlang ausgelastet ist ;-)

Der dürfte sich eher die Hände reiben, weil eventuell Zusatztraffic zu berechnen ist. ;-)
 
Ich würde rsync oder scp nehmen. Dies bedingt aber, dass du einen SSH Zugang zum Server hast. Wenn das nicht vorhanden ist, würd ich das konzept von Ansgar gehen: Einpacken und in einem Stück hochladen. Problem bei dieser Lösung: Wie entpacken auf der Serverseite ohne SSH Zugang ?

Andererseits frag ich mich, ob nicht einfach dein FTP Client Müll ist: Wir haben früher sinnlos Daten per FTP übertragen und hatten ausser Firewall- und Performanceproblemen nie Abstürze der Clientsoftware. Evt. den von www.flashfxp.com testen.
 
Danke für all Eure Tipps und Hinweise !

Ich habe mal das Programm flashfxp ausprobiert und bis jetzt hab ich tatsächlich noch
keine Probleme damit, ausser, dass der Upload ziemlich langsam ist.
So wie es aussieht, muss ich den noch etwa 6x24 Std. laufen lassen. Aber ich
bin froh, mich nicht mehr mit Fehlermeldungen und Speicherüberlaufen herumschlagen zu müssen.

Gruss
dandelion
 
Ich schließe mich Roger an: nimm, wenn möglich, rsync. Rsync kann jederzeit bei Unterbrechung wieder aufsetzen bzw. bei späteren Updates nur die Änderungen hochladen bzw. löschen. Rsync kann über rsh oder ssh (ssh kann transparent komprimieren) arbeiten. ssh Zugriff sollte man auf einem Dedicated Server eigentlich haben - oder?
 
FTP kann unterbrochene Up/downloads auch wieder aufnehmen. Ich wuerd das zeugs auch per ssh oder rsync hochladen, aber das gibts im ie nicht. wieso willst du soviele bilder hochladen? sinds denn grosse? oder nur so kleine? mit windows gibt das sicher probleme, drum besser in tranchen machen...
 
Sie müssen sich einloggen oder registrieren, um hier antworten zu können.
Zurück
Oben