Spidr

Scriptul poate rula pe o singură pagină, site-ul, mai multe domenii sau chiar non-stop.
Spidr este proiectat pentru a fi rapid și ușor de utilizat

Caracteristici :.

• Restore coada spidering și istoria de la o sesiune anterioară .
• personalizate siruri User-Agent.
• Setări proxy personalizate.
• HTTPS sprijin.


• Urmează:
• de tag-uri.
• tag-uri iframe.
• etichetele cadru.
• link-uri protejate Cookie.
• HTTP 300, 301, 302, 303 și 307 redirecționări.
• Meta-Refresh redirecționări.
• HTTP legături protejate Basic Auth.


• -lista neagră sau lista albă de adrese URL pe baza:
• sistem URL.
• Nume gazdă
• Număr port
• link Full
• extensie URL

Oferă call-backs pentru:
• Fiecare vizitat pagina.
• Fiecare vizitat URL.
• Fiecare URL vizitat care se potrivește un model specificat.
• În fiecare plecare sau de sosire URI unei legături.
• Fiecare URL care nu au putut fi vizitate.

oferă metode de acțiune la:
• Pauză spidering.
• Treci prelucrare de pagini.
• Treci prelucrare de link-uri.

Ce este nou în această versiune:

• Prinde OpenSSL :: SSL :: excepții SSLError când inițiat HTTPS Sessions.