Web Spider soeges

Software/OS d.  23. august. 2019, skrevet af Sven Bent
Vist: 446 gange.

Sven
 
Superbruger
Tilføjet:
23-08-2019 16:48:23
Svar/Indlæg:
3607/81

Keg leder efter et web spider progra

 

AKa jeg giver den et start link og den foelger alle links fra den side og alle links fra disse sider indtil X  lag, og hente filer ned some jeg oensker dette. og bibeholder dne originale "mappe structur"

mulighed for at begranset til kun at kravle paa det angivet domaene ville vaere godt

 

jeg har tidligere brugt teleport pro til dette men det er immervaek gammelt

 

Calimero
 
Elitebruger
Tilføjet:
27-08-2019 09:08:39
Svar/Indlæg:
583/29

Hvis du søger på webcrawler, får du nogle bedre resultater, se fx her:

https://www.octoparse.com/blog...

Jeg har selv brugt Httrack for år tilbage.



nhuusom
 
Overclocker
Tilføjet:
27-08-2019 11:23:40
Svar/Indlæg:
3/1

Hvis du er frisk på PHP programmering kan jeg anbefale simple_html_dom.php biblioteket. Jeg bruger det på flyjura.dk hvor jeg henter https://flyjura.dk/flyforsinke... ned fra ankomst-tavler på kastrup & billund lufthavns hjemmesider, såvel som jeg også snart bruger det på https://pantebrevslånberegner.dk

Her skal den hente aktuelle renter og gebyrer ned, så jeg kan lave en god online pantebrevslån beregner.