Intră în cont

Documentatie Modul Crawler

IVAN CATALIN MARIAN··1 min de citit
Modulul Crawler permite descărcarea în masă a fișierelor de pe internet pe baza unei liste de URL-uri.Funcționalitățile sunt accesibile atât printr-o interfață web, cât și prin CLI (linie de comandă).Funcționalități WebButonul Start New Processing inițiază o nouă procesare. După apăsarea butonului, apare o zonă de încărcare fișiere unde pot fi încărcate fișiere .txt sau .csv. După apăsarea butonului Upload and Start Processing:Încărcare și ValidareSistemul încarcă fișierul și validează URL-urile.Link-uri invalide sunt respinse automat.Monitorizare în Timp RealInterfață dinamică cu actualizări live:Stare link: în așteptare → descărcare → descărcat/eșuat.Randurile se colorează Roșu - Eșec (detaliile erorii sunt disponibile la hover).Butonul de Download pentru un link devine accesibil dacă link-ul este descărcat cu succes.Progresul individual al fiecărui link este afișat în coloana Status.Notificare vizuală în antet cu numărul de link-uri eșuate (ex: *"3/50 link-uri eșuate"*). CLI:start: bun /PATH_TO/scrapper_service.ts start --file ./pdf_links.txt --name NUME --user USER_ID --cli --file - fisierul ce contine link-urile--name - numele procesarii--user - id-ul userului list: bun PATH_TO/scrapper_service.ts list --cli
Ce zici
3 citiri · o citire per cititor la 24 h