Sono passati sei mesi da quando abbiamo fatto uscire dalla fase beta il sistema di rilevamento delle anomalie e abbiamo aggiunto il filtraggio degli indirizzi IP: la possibilità di bloccare fin da subito gli indirizzi IP utilizzati da aggressori noti, data center, connessioni TOR, ecc.
Da quando queste funzionalità sono state rese disponibili, siamo stati entusiasti – e sorpresi! – nel vedere come i nostri clienti le abbiano utilizzate per vincere la battaglia contro i bot.
Risultati degli ultimi sei mesi
Sapevamo che un'alta percentuale del traffico fosse generata dai bot, ma, da quando monitoriamo le statistiche, siamo rimasti sorpresi nel constatare quanto sia effettivamente alta tale percentuale.
CrowdHandler sta ora bloccando migliaia di indirizzi IP sospetti ogni settimana per ciascuno di quei siti in cui è attivato il filtro IP.
Ma soprattutto: questi sei mesi di osservazione, condotti su più siti, ci hanno permesso di individuare alcune tendenze e modelli interessanti nel comportamento dei bot, che a loro volta hanno contribuito a ulteriori miglioramenti. Grazie a questa condivisione di informazioni, le nostre funzionalità di sicurezza operano ora in sinergia per proteggere i siti in tutto il mondo.
Novità: i rapporti IP ora contribuiscono al punteggio di anomalia
Il sistema di rilevamento delle anomalie di CrowdHandler utilizza già algoritmi avanzati per individuare quei modelli che potrebbero indicare attività fraudolente o dannose. Ora tiene conto anche della reputazione dell'IP, per fornire un punteggio ancora più accurato.
Per darvi un esempio del perché ciò sia utile: gli iPhone consentono agli utenti di nascondere il proprio indirizzo IP, come se si nascondessero dietro una rete proxy. Di per sé, il sistema di rilevamento delle anomalie di CrowdHandler segnalerebbe probabilmente questo utente come un possibile bot – un falso positivo. Tuttavia, poiché l’indirizzo IP da cui proviene gode di buona reputazione, il nostro sistema di rilevamento delle anomalie ne terrà conto e il punteggio di anomalia dell’utente non risulterà così basso.
Allo stesso modo, se un utente accede al sito da un intervallo di indirizzi IP con una cattiva reputazione, è più probabile che riceva un punteggio negativo. È più probabile che i bot vengano respinti.
Quando un indirizzo IP viene bloccato, il blocco dura solo un’ora. Tuttavia, CrowdHandler registrerà la decisione e utilizzerà tali informazioni per individuare gruppi di blocchi relativi a determinati intervalli di indirizzi IP. Inoltre, queste informazioni vengono condivise con tutti gli altri siti protetti da CrowdHandler. Pertanto, se l’indirizzo IP viene utilizzato per comportamenti sospetti una seconda volta, verrà bloccato nuovamente; ciò, però, ne danneggerà ulteriormente la reputazione e comprometterà anche quella degli indirizzi IP dello stesso intervallo, su tutti i siti che utilizzano CrowdHandler.
Novità: i clienti possono consultare i suggerimenti relativi agli intervalli di indirizzi IP
Nel tentativo di evitare i blocchi degli indirizzi IP, i bot spesso effettuano l'accesso da un unico indirizzo IP, per poi passare a nuovi indirizzi all'interno di quell'intervallo ogni poche richieste. Lo fanno perché, sebbene uno di questi indirizzi possa essere stato segnalato in un elenco di abusi, è possibile che non lo siano stati tutti.
Questo comportamento fa scattare i nostri algoritmi di rilevamento delle anomalie, ma, nel momento in cui il comportamento viene identificato e l'IP bloccato, il bot è già passato all'IP successivo. Ecco perché analizziamo i log dei clienti per identificare gli intervalli che generano punteggi di anomalia elevati, blocchi di IP e avvisi.
Ora, i clienti di CrowdHandler possono esaminare gli intervalli sospetti che abbiamo individuato per loro e scegliere di bloccarli in modo permanente.
Novità: i clienti possono iscriversi alla lista di blocco globale
I malintenzionati tendono a nascondersi dietro un numero relativamente esiguo di reti proxy dannose. Pertanto, i clienti di CrowdHandler possono sottoscrivere una serie di liste di blocco, che consentono, ad esempio, di filtrare gli indirizzi IP situati nei data center o quelli presenti in liste di abusi note.
Ora, la scelta dei filtri da utilizzare include anche la lista di blocco globale di CrowdHandler: un elenco costantemente aggiornato di intervalli di indirizzi IP che abbiamo identificato come segnalati all’interno della nostra base clienti. Si basa sulle raccomandazioni che formuliamo a livello globale, per tutti i nostri clienti che utilizzano il rilevamento delle anomalie.
E funziona. Gli utenti che si sono iscritti alle liste di blocco globali hanno riscontrato una riduzione dell'80% del traffico che devono bloccare, specificamente relativo al proprio dominio.
Agenti sotto copertura: smascherati
Tutti i bot sono, ovviamente, programmi per computer. A volte ciò è evidente perché sono stati programmati male e indicano come user agent gli strumenti che stanno utilizzando, come Curl o Axios. Di solito, però, falsificano la stringa dell'user agent e si presentano come un browser comune, ad esempio Chrome su Windows.
Tuttavia, anche quando un bot si presenta come qualcosa che non è, CrowdHandler è in grado di individuarlo.
Poiché analizziamo milioni di accessi al giorno, il nostro sistema di rilevamento delle anomalie è in grado di individuare i segnali rivelatori di un tentativo di spoofing e possiamo sfruttarlo per bloccare gli imitatori, anche quando utilizzano migliaia di indirizzi IP distribuiti in tutto il mondo.
Anche in questo caso, le informazioni vengono aggiunte al punteggio di anomalia e utilizzate su tutta la nostra base clienti. (In effetti, abbiamo già utilizzato questo sistema per identificare diverse reti di bot dedite al bagarinaggio dei biglietti.)
Un motivo in meno per preoccuparsi dei falsi positivi
Sapevamo già che la percentuale di falsi positivi era bassa, e gli ultimi mesi ci hanno dimostrato che è ancora più bassa di quanto pensassimo (meno dello 0,25%). A volte capita addirittura che il sistema di rilevamento delle anomalie segnali percorsi utente che a noi sembrano regolari… solo per scoprire, dopo un’analisi più approfondita, che il sistema aveva ragione e che si trattava effettivamente di malintenzionati.
Tuttavia, comprendiamo che i clienti possano essere preoccupati all’idea di bloccare gli utenti con punteggi di anomalia superiori a un certo livello. Ecco perché, anche se un cliente decide di bloccare solo gli utenti con un punteggio di anomalia molto elevato (o magari di non bloccarne affatto), CrowdHandler continuerà comunque a fornire avvisi. E tali avvisi continuano a contribuire al nostro sistema di intelligenza complessivo e a migliorare la sicurezza, poiché CrowdHandler opera dietro le quinte per registrare le informazioni e costruire un quadro d’insieme più ampio.
E i bot “buoni”?
Forse ti starai chiedendo: vista tutta questa automazione, cosa succederebbe se identificassimo e bloccassimo per sbaglio un bot innocuo, come quello di Google?
Sappiamo che non è sempre evidente: Microsoft, Google e Amazon sono tutte ottime aziende, ma affittano server a chiunque, e non è raro che qualcuno utilizzi i servizi di hosting di Amazon Web Services, Google Cloud o Microsoft Azure come base per sferrare attacchi.
La prima cosa da dire è: se non sei sicuro, non bloccare. Quando consulterai l'elenco dei suggerimenti, vedrai che forniamo ulteriori informazioni per ciascuno di essi, che dovrebbero aiutarti a prendere una decisione autonoma.
Tuttavia, per rassicurarti ulteriormente, CrowdHandler rivede regolarmente anche le regole della nostra lista di blocco globale, aggiungendo liste globali di "bypass" e "ignora" per i bot "buoni" più comuni, come i servizi di monitoraggio. Inoltre, le tue regole personali avranno sempre la precedenza sulle liste di blocco globali: quindi, se non sei d'accordo con una voce presente nella lista di blocco globale, puoi comunque scegliere di consentirla sul tuo dominio.
Inizia oggi stesso a utilizzare i nuovi strumenti di sicurezza
Se state già utilizzando il rilevamento delle anomalie e il filtraggio degli indirizzi IP, siete già a posto. Tutti i nuovi strumenti sono ora disponibili per i clienti Professional ed Enterprise senza alcun costo aggiuntivo.
Non vediamo l'ora di scoprire come i nostri clienti li utilizzeranno nella continua lotta contro i bot.