... nicht ersetzen. # wget -O - 'http://web.archive.org/web/20070323004510/http://www.ccc.de/' ...E., ihn einfach auf die Original-URL crawlen zu lassen und auf Proxy-Level einfach die archive.org-URL vorne ...) auf localhost:80: ProxyPass / http://web.archive.org/web/20070323004510/http://www.ccc.de/ ProxyPassReverse / http://web.archive.org/web/20070323004510/http://www.ccc.de/...

...auch nicht ersetzen. # wget -O - 'http://web.archive.org/web/20070323004510/http://www.ccc.de/'....E., ihn einfach auf die Original-URL crawlen zu lassen und auf Proxy-Level einfach die archive.org-URL vorne ...mod_prody) auf localhost:80: ProxyPass / http://web.archive.org/web/20070323004510/http://www.ccc.de/ ProxyPassReverse / http://web.archive.org/web/20070323004510/http://www.ccc.de/...

... Und jetzt will das jemand crawlen, mit Wget oder Httrack. Das Problem:...könnte? Oder wo ich sonst mal nachfragen könnte? Statt mit Proxies... ist ja, bereits vor dem Crawlen bereits gecrawlte URLs auszunehmen. --base=<URL...ihn einfach auf die Original-URL crawlen zu lassen und auf Proxy-Level einfach die archive.org-URL vorne dranzugängen. Nur will mir das irgendwie nicht ...

...: Und jetzt will das jemand crawlen, mit Wget oder Httrack. Das Problem: ...angehen könnte? Oder wo ich sonst mal nachfragen könnte? Statt mit Proxies, ...<file>, falls diese relativ sind. Da archive.org ja netterweise <BASE HREF=...> setzt, kannst du einfach darauf greppen und hast... weil ich nach ein paar schnellen Versuchen das Gefühl habe, archive.org möchte *nicht* gecrawlt werden....

...Und jetzt will das jemand crawlen, mit Wget oder Httrack. Das ... foo bar | s/^GET /GET org/web/datum/http://www.originalseite...www.originalseite.de/Host: web.archive.org/ Apache mit mod_proxy und...scheiße, und es kommt nur sowas wie "http://web.archive...RewriteEngine On | RewriteRule ^(.*)$ http://web.archive.org/web/20020815145325/http://$1...angehen könnte? Oder wo ich sonst mal nachfragen könnte...

Am 15.09.2007 00:05 schrieb Sebastian G.: Das Hauptproblem ist ja, bereits vor dem Crawlen bereits gecrawlte URLs auszunehmen. Wenn durch das Crawlen der URLs Dateien erzeugt wurden, kannst du diese mit der Option -nc (--no-clobber) überspringen.