Programul vă permite să accesați cu crawlere site-ul web cu diferite opțiuni: respectați robots.txt, numărați numărul de cuvânt, verificați adresele URL ale imaginilor, numărul de fire cu crawlere, intervalul de timp pentru accesul la URL, agentul...

Citeste mai mult