Veebibotid on n-ö robotid või käsklused, mis täidavad automaatselt ja efektiivselt neile antud ülesandeid. Ülesandeid on väga erineva eesmärgiga ning seetõttu võivad ka neid täitvad veebibotid olla inimeste loodud veebilehtedele nii kasulikud kui kahjulikud. Näiteks kasutavad botte digitaalsed assistendid nagu Siri ja Alexa, mis otsivad bottide abil abil erinevat informatsiooni miljonitelt lehekülgedelt. Kuid esineb ka botte, mille eesmärk on lehekülgesid aeglasemaks muuta või mõjutada lehekülgede andmeid.
Usutakse, et isegi 40% kogu veebiliiklusest tuleneb bottidelt ning sellest arvestatava hulga taga on pahatahtlikud botid. Seetõttu otsivad paljud ettevõtted võimalusi piirata bottide ligipääsu nende kodulehekülgedele.
Kuid on ka ettevõtteid ja lehekülgi, kes teadlikult kasutavad botte, et näidata oma lehekülgede külastatavust tegelikust suuremana ning seeläbi teenida näiteks suuremat reklaamiraha. See on kahjuks võrdlemisi levinud praktika mitmete rahvusvaheliste või suuremate riikide uudiste portaalide ja ka muude veebilehtede puhul, kus ei ole nii lihtne andmete võltsimist tuvastada.
Mille järgi saab ära tunda, et lehe külastajate statistikat on mõjutatud bottidega?
Kuna robotite käitumine on mudeldatud ja seetõttu suhteliselt standardne, on näitajaid, mille esinemine annab aimu sellest, et veebilehe külastajate numbritega võib olla manipuleeritud bottide abil:
- Ebaharilikult kõrge lehevaatamiste arv: Kui lehekülje vaatamiste arv on mõnel perioodil hüppeliselt kasvanud.
- Ebaharilikult kõrge põrkemäär: Põrkemäär näitab kasutajate arvu, kes tulevad vaid saidi ühele lehele ja lahkuvad enne, kui kuhugi klõpsavad. Põrkemäära ootamatu kasv võib olla tingitud bottide suunamisest ühele konkreetsele lehele.
- Üllatavalt kõrge või madal külastusseansi kestus: keskmine külastusseansi kestus, mille jooksul kasutajad veebisaidil viibivad, peaks olema suhteliselt ühtlane. Kestuse ebaharilik pikenemine võib olla märk bottidest, mis sirvivad saiti ebatavaliselt aeglasel kiirusel. Ning üllatav külastusseansi kestuse langus võib olla põhjustatud robotitest, mis klõpsavad saidi lehekülgedel inimesest kiiremini.
- Ootamatu külastatavuse kasv ebaharilikest kohtadest: äkiline lehekülje külastatavuse kasv mõnest konkreetsest piirkonnast, eriti sellisest, kus ei ela inimesi, kes räägivad lehekülje emakeelt, võib olla märk sellest, et lehekülge külastavad botid.
Botiliiklust suudavad tuvastada ka integreeritud veebianalüüsi tööriistad, nt Google Analytics. Võrdlemisi osavad tuvastajad on ka erinevad internetireklaamide võrgud, nt Google, Yahoo jne. Kui nad kahtlustavad, et mõni veebisait manipuleerib külastajate statistikaga, pannakse see lehekülg musta nimekirja ning muudetakse reklaamiostjatele ebaatraktiivseks.
Kahjuks ei avastata pettusega tegelevaid veebilehti väga pika aja jooksul ligi 90%-il juhtudest, mistõttu saavad nad kaua manipuleerida reklaami- või teenuseostjate arvamusega. Seetõttu on vajalik, et kõik reklaamiostjad ja internetiteenuse kasutajad suhtuksid lehekülgede külastajate statistikasse eluterve skeptilisusega ning võimalusel küsiksid iseseisvaks analüüsimiseks täiendavaid andmeid. Paneme kõigile oma klientidele südamele, et väga suure külastatavusega lehekülgede andmetesse on vajalik suhtuda teatava ettevaatlikkusega, sest reaalsete külastajate hulk ei pruugi olla see, mida esitletakse ning seetõttu ei anna sealt ostetav reklaam ka seda tulemust, milel eest makstakse.
Case study: Ukraina veebiuudiste lehe Обозреватель külastatavuse statistika
Aastast 2018 pärineb üks väga huvitav ja põhjalik veebilehe külastatavuse analüüs, mis on originaalina loetav leheküljel: https://dou.ua/forums/topic/24101/. See näitab ilmekalt, kuidas on võimalik tuvastada, et veebileht on suurendanud oma külastatavuse näitajaid bottide abil. Oma lugejate jaoks oleme teinud sellest eestikeelse kokkuvõtte. Lugemise lihtsustamise huvides on tekst tõlgitud oleviku vormis, kuid tasub meeles pidada, et andmed ja analüüs pärinevad siiski kahe aasta tagusest ajast.
Veebiuudiste leht Обозреватель: www.obozrevatel.com on avalike andmete järgi Ukraina loetuim ja külastatuim online-uudiste lehekülg. Kui aga nende andmetesse süveneda, võib sealt leida nii mõndagi kahtlast, mis viitab sellele, et lehekülg on manipuleerinud oma külastatavuse statistikaga.
- Esimene ohumärk: Google ja Yandex on keelustanud Ukraina lehekülje Обозреватель, täpsemalt selle domeeni obozrevatel.com.ua domeenide liitmise tõttu. Kui vaadata lehe statistikat, siis ei takista see paljude külastajate jõudmist lehele, seda muuhulgas ka samade otsingumootorite kaudu. Kahtlane on ka see, et kui lehe külastajad näevad reaalsuses domeeni www.obozrevatel.com, siis statistika andmebaasides näidatakse, et kõrge külastatavusega on just www.obozrevatel.com.ua – sama domeen, mis on keelustatud peamiste otsingumootorite poolt.
- Väga suur protsent (49,9%) leheküljele jõudvast liiklusest tuleb otsingumootorite kaudu – see on ükskõik millise lehe keskmisi andmeid arvesse võttes väga ebatavaline. Kui lehe keskmine külastatavus on nende enda andmetel 1,1 miljonit inimest päevas, siis protsenti arvesse võttes peaks otsingumootorite kaudu nende lehte külastama 571 000 inimest päevas. Ning seda ajal, kus nende veebilehe domeen on suuremate otsingumootorite poolt keelustatud. Teatud hulk otsingumootorite klikke tuleb väidetavalt Venemaa otsingumootoritest Yandex ja Search.Mail.Ru, hoolimata sellest, et lehekülg on riigis keelustatud.
- Otsingumootorite liiklust analüüsides peaks vaatama ka peamisi otsingusõnu, mille kaudu leheküljele jõutakse. Kui otsingusõnad on loogilised ja mõistetavad, siis aitab see toetada võimalust, et andmed on usaldusväärsed. Kuid kui hulk otsingusõnu on arusaamatud, justkui väljamõeldud kombinatsioonid, siis on see konkreetne viide lehekülje külastatavuse manipuleerimisele. Ukraina lehe puhul ei ole avalikes andmebaasides otsingusõnu üldse välja toodud, kuid sügavama uurimise puhul jõuab listini, kus on väga ebaloogilised sõnade kombinatsioonid.
- Lehekülgede reaalne külastatavus muutub tavaliselt ühtlaselt, ilma põhjendamatult suurte muutusteta. Kuid Ukraina lehe andmetes on äkilisi muutusi: nt 2016. aasta mais kukkus külastatavus ligi poole võrra – 45,6 miljonit versus 89,6 miljonit külastajat sama aasta veebruaris. Külastatavus püsis suhteliselt sarnasena jaanuarini 2017 (46,4 miljonit inimest kuus), kuid veebruaris 2017 külastatavus peaaegu kahekordistus: 80,4 miljonit külastajat. Tõenäoline põhjus? Lehekülje administraatorid suurendasid eelarvet lehekülje külastatavuse “suurendamiseks”.
- Facebooki postituste ligikaudse konversiooni arvutamiseks on väga lihtne valem: iga postitus jõuab keskmiselt 5% fännideni ning neist klikib postitusele omakorda 5%. Ukraina lehe avalikus statistikas 9. mai 2018 kohta väidetakse, et Facebookist jõudis leheküljele 464 434 inimest. Kui vaadata lehe Facebooki statistikat, siis jälgijaid on seal kokku 537 615 inimest ning 9. mail 2018 tehti 71 postitust. Võttes arvesse Facebooki 5% x 5% reeglit, peaks ühest postitusest jõudma leheküljele 1344 inimest, 71 postitusest seega 1344 x 71 = suurusjärgus 95 424 inimest. Lehekülg ise väidab, et jõudis 464 434 inimest, mis on 4,9 korda rohkem, kui Facebooki keskmine statistika lubab arvata.
