robots.js

robots.js 0.9.4

Poate fi folosit pentru a scoate date din fișier robots.txt și hranei pentru animale-l la alte aplicații sau statistici instrumente.Va extrage URL țintă, motiv pentru datele de acces și de stare Ce este nou în această versiune:. Manere http (s )...