Esperto di Semalt sull'eliminazione dei dati dei siti Web - Bot buoni e cattivi

Il web scraping esiste da molto tempo ed è considerato utile per webmaster, giornalisti, liberi professionisti, programmatori, non programmatori, ricercatori di marketing, studiosi ed esperti di social media. Esistono due tipi di robot: robot buoni e robot cattivi. I buoni robot consentono ai motori di ricerca di indicizzare i contenuti Web e sono molto apprezzati dagli esperti di mercato e dagli esperti di marketing digitale. I bot dannosi, d'altra parte, sono inutili e mirano a danneggiare il ranking dei motori di ricerca di un sito. La legalità del web scraping dipende dal tipo di robot che hai utilizzato.

Ad esempio, se si utilizzano bot dannosi che recuperano il contenuto da diverse pagine Web con l'intenzione di utilizzarlo illegalmente, lo scraping del Web potrebbe essere dannoso. Ma se fai uso dei buoni robot ed eviti le attività dannose tra cui attacchi di negazione del servizio, frodi online, strategie di data mining competitive, furti di dati, furti di account, scansione di vulnerabilità non autorizzata, frodi di annunci digitali e furto delle proprietà intellettuali, quindi la procedura di web scraping è buona e utile per far crescere la tua attività su Internet.

Sfortunatamente, la maggior parte dei freelance e delle startup ama i bot dannosi perché sono un modo economico, potente e completo per raccogliere dati senza la necessità di una partnership. Le grandi aziende, tuttavia, usano i web raschiatori legali per i loro guadagni e non vogliono rovinare la loro reputazione su Internet con i web raschiatori illegali. Le opinioni generali sulla legalità del web scraping non sembrano avere importanza perché negli ultimi mesi è diventato chiaro che i sistemi giudiziari federali stanno abbattendo sempre più strategie illegali di web scraping.

Il web scraping è iniziato come un processo illegale nel 2000, quando l'uso di bot e ragni per raschiare siti Web era considerato una sciocchezza. Non molte pratiche sono state adattate per impedire a questa procedura di diffondersi su Internet fino al 2010. eBay ha presentato per la prima volta le ingiunzioni preliminari contro Bidder's Edge, sostenendo che l'uso di bot sul sito Web aveva violato le leggi di trasgressione alle norme di Chattels. Il tribunale ha presto concesso le ingiunzioni perché gli utenti dovevano concordare i termini e le condizioni del sito e un gran numero di bot sono stati disattivati in quanto potrebbero essere distruttivi per i computer di eBay. La causa fu presto risolta fuori dal tribunale e eBay ha impedito a tutti di utilizzare i bot per il web scraping, indipendentemente dal fatto che siano buoni o cattivi.

Nel 2001, un'agenzia di viaggi aveva citato in giudizio i concorrenti che avevano rimosso il suo contenuto dal sito Web con l'aiuto di ragni dannosi e robot dannosi. I giudici hanno nuovamente adottato misure contro il crimine e favorito le vittime, affermando che sia il web scraping sia l'uso di robot potrebbero danneggiare varie attività online.

Al giorno d'oggi, per l'aggregazione accademica, privata e delle informazioni, molte persone si affidano a corrette procedure di web scraping e molti strumenti di web scraping sono stati sviluppati in questo senso. Ora i funzionari affermano che non tutti questi strumenti sono affidabili, ma quelli disponibili nelle versioni a pagamento o premium sono migliori dei raschiatori web gratuiti .

Nel 2016, il Congresso aveva approvato la prima legislazione per colpire i robot cattivi e favorire i robot buoni. È stata istituita la legge sulle vendite di biglietti online (BOTS) che vietava l'uso di software illegale in grado di colpire i siti Web, danneggiando i ranghi dei motori di ricerca e distruggendo le loro attività. Ci sono questioni di equità. Ad esempio, LinkedIn ha speso molti soldi per gli strumenti che bloccano o eliminano i bot danneggiati e incoraggiano i buoni robot. Mentre i tribunali hanno cercato di decidere la legalità del web scraping, le aziende stanno rubando i loro dati.