*

Ihmismielen ihmettelyä Luonne on ihmisen kohtalo. (Herakleitos)

Valheiden havaitseminen kirjoitetusta tekstistä

Lontoon yliopistossa tutkijat ovat kehittäneet tietokoneohjelman, algoritmin, joka pystyy havaitsemaan valheita kirjoitetusta tekstistä kuten sähköposteista, deittiprofiileistä ja viisumihakemuksista. Algoritmi analysoi sanojen ja sanamuotojen käyttöä, tekstin rakennetta ja sisältöä.

Algoritmi laadittiin vertailemalla kymmeniä tuhansia sähköposteja, niin valheellisia kuin tosia. Vertailussa paljastui, että ihmiset, jotka valehtelevat, käyttävät vähemmän itseensä viittaavia persoonapronominejä kuten sanoja  ”minä” ja ”minun”, mutta viljelevät tekstissään paljon tarpeettomia adjektiivejä eli sanoja kuten esimerkiksi ”loistava” ja ”mahtava”. Syyt minä ja minun sanojen välttämiseen voivat olla se, että valehtelija haluaa luoda psykologista etäisyyttä itsensä ja valheellisen viestin välille  ja samalla yrittää sumentaa viestin merkityksen tarpeettomilla adjektiiveillä. Myös erittäin hyödyllinen tapa paljastaa valhe kirjoitetusta tekstistä on etsiä poikkeavia, epämääräisiä ja vältteleviä sanontoja kuten ”melko varma”, ”ehkä”, ”luultavasti” tai vakuuttavia harhautuksia "ollakseni rehellinen" ja "inhoan kertoa teille". Lisäksi vilpilliset henkilöt usein yli argumentoivat ja sisällyttävät viesteihin enemmän imartelua, koska he haluavat vaikuttaa miellyttäviltä ja sympaattisilta.

Algoritmi havaitsee paremmin valheita verrattuna keskivertoihmiseen. Tutkijoiden mukaan keskivertoihminen tunnistaa vain 54 prosenttia valheista, kun taas algoritmi pystyy erottamaan peräti 70 prosenttia.

Algoritmin hyöty:

Algoritmit avaavat uuden mahdollisuuden huijausten ja petosten ennaltaehkäisemiseksi. Ohjelmisto auttaa organisaatioita löytämään ja ennalta luokittelemaan potentiaalisesti vilpilliset viestit. Viranomaiset ja yritykset pystyvät selvittämään petoksen ja huijauksen uskottavuutta ja yksilöimään valehtelevat yksilöt. Algoritmin käytännön vaikutukset liiketoimintaan ovat laaja-alaisia. Asiakas ei välttämättä aina ole oikeassa, ja ohjelmistot auttavat yrityksiä arvioimaan, venyttävätkö asiakkaat totuutta omaksi hyväkeen ja yritykset voivat myös päättää haluavatko he jatkaa liiketoimintaansa kyseisen henkilön kanssa.

Pohdintaa

Algoritmin virheen mahdollisuus on n. 30% eli pienenä riskinä on, että joku rehellinen viesti tulkitaan epärahelliseksi tai päinvastoin. Olemmeko valmiita ottamaan tämän riskin. Emme voi koskaan täysin 100% varmoja, että meille kerrotaan totuus.  Valheenpaljastuksen perimmäisenä ongelmana on kuitenkin se, ettei ole olemassa mitään luotettavaa johtolankaa, joka varmasti paljastaisi valehtelun.

Erillisessä tutkimuksessa Michiganin yliopiston tutkijat opettivat tietokoneita havaitsemaan valheita oikeussali-videoiden avulla. Koneen oppimisalgoritmi pystyi tunnistamaan jopa 75 prosenttia valheista. Herääkin kysymys, että voisikohan algoritmejä hyödyntää myös muilla foorumeilla ja muissa asiayhteyksissä. Äkkiseltään tulee mieleen ainakin politiikka ja työnhaku. Miten mahtaisi miltei ajantasainen puheenvuorojen ja vastineiden algoritmianalyysi purra eduskuntasalissa?

(Blogikirjoitus löytyy myös blogistani:www.saarahuhtasaari@vuodatus.net)

Lähde:

Ludwig, S. &  van Laer, T. & De Ruyter, K. & Friedman, M. (2015). Untangling a Web of Lies: Exploring Automated Detection of Deception Cues in Online Claims within B2B Incentive Programs, SSRN Electronic Journal. Journal of Management Information systems, 33(2), 511-541. DOI: 10.2139/ssrn.2576197

Piditkö tästä kirjoituksesta? Näytä se!

3Suosittele

3 käyttäjää suosittelee tätä kirjoitusta. - Näytä suosittelijat

NäytäPiilota kommentit (38 kommenttia)

Käyttäjän pekkaroponen1 kuva
Pekka Roponen

Ollakseni rehellinen joudun tunnustamaan, jotta pääsääntöisesti en koskaan valehtele, vaan rakastan totuutta, mitä hyvettäni monet ovat ylistäneet, eivätkä ole koskaan nimitelleet minua narsistiksi. Myönnän laaja-alaisen syyttömyyteni.

Älä siis luota auktoriteetteihin, vaan usko minua!

Muistat varmaan Tshehovin Pahantekijän?

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari

Tsehovin "Tarpeettomat ihmiset"

"Ollakseni rehellinen joudun tunnustamaan, jotta pääsääntöisesti en koskaan valehtele, vaan rakastan totuutta, mitä hyvettäni monet ovat ylistäneet, eivätkä ole koskaan nimitelleet minua narsistiksi. Myönnän laaja-alaisen syyttömyyteni."

Enempää ei sitten pystytty muutamassa lauseessa valehtelemaan..

Käyttäjän TuomoKokko kuva
Tuomo Kokko

Eikö totuuden kurssi (merkityksessä "markkina-arvo") kuitenkin ole viime aikoina romahtanut? Onko valheenpaljastukselle edes tarvetta, kun väitteet nykyisin jakautuvat vain totuuksiin ja vaihtoehtototuuksiin?

Käyttäjän vylitalo kuva
Ville Ylitalo

Nuo valehtelun tyypilliset piirteet kuulostavat ihan työnhaun ohjeilta ja osittain mainosten laatimiseen käytetyiltä vinkeiltä. Mainoksistakin tosin kuultaa se epätoivo usein läpi kun ylisanat ovat tarpeeksi teennäisiä. Työnhaku taas tuntuu olevan enemmän rituaalista kuin instrumentaalista toimintaa näiden eri sääntöjen kanssa. Tietynlaiset sivistyneet maneerit ovat luonteeltaan jyrkästi tulkittuna valehtelua, jos niitä käytetään totuusarvosta huolimatta. Aika harva voi olla täysin rehellinen sosiaalisissa tilanteissa vieraiden ihmisten kanssa varsinkaan silloin, jos tarvitsee kipeästi jotakin siltä toiselta osapuolelta, esimerkiksi juuri työtä.

Toisaalta itse kyllä käytän tuollaisia ilmaisuja kuten luullakseni, ehkä, jne. koska tiedän, ettei juuri mikään tieto tai näkemys ole ehdoton eikä riittävään täsmällisyyteen voi pyrkiä, jos haluaa pitää tekstin luettavan lyhyenä, eli siis välttyäkseni valehtelemasta. On todella raskasta lukea tekstiä, joka on kirjoitettu niin, ettei mitään epäselvyyksiä tai epämääräisyyksiä ole mukana.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari

Käyttäytymistieteissä, mikä ei ole eksaktia tiedettä, viljellään juuri sanoja kuten "luultavasti", "todennäköisesti", "mahdollisesti".

Jos henkilö olisi aina ja täysin rehellinen sosiaalisissa tilanteissa, häntä pidettäisiin melko varmasti töykeänä yksilönä.

Käyttäjän artoartovihavainen kuva
Arto Vihavainen

"Jos henkilö olisi aina ja täysin rehellinen sosiaalisissa tilanteissa, häntä pidettäisiin melko varmasti töykeänä yksilönä."

Sosiaalisissa tilanteissa valehteleminen on pakollista.

Henkilö joka ei osaa valehdella sujuvasti sosiaalisissa tilanteissa on sosiaalisesti kömpelö, tai peräti epäsosiaalinen.

Ulkomaalaiset ovat sosiaalisempia kuin suomalaiset ja parempia valehtelemaan, suomalaiset toisaalta ovat herkkäuskoisempia ja uskovat mielellään ulkomaalaisten sosiaaliset valheet.

Siksi suomalaiset mielellään kyselee ulkomaalaisilta mitä mieltä he meistä suomalaisista ovat ja kuuntelevat mielellään kun ulkomaalaiset kohteliaasti valehtelevat, ylistävät ja käyttävät korusanoja meistä suomalaisista. :)

Käyttäjän artoartovihavainen kuva
Arto Vihavainen

Nyt, tuohon algoritmiin tutustumalla, valehtelijat voivat kehittää valehtelutaitojaan entistä paremmiksi.

Rehelliset, kuten minä, eivät sen sijaan vaivaudu selvittämään mitä sanoja valehtelijan tulee välttää, joten rehelliset leimaantunevat tuon algpritmin perusteella jatkossa valehtelijoiksi ja valehtelijat rehellisiksi.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari
Käyttäjän MarkoMjlnirParkkola kuva
Marko Parkkola

Kaikki markkinointi muuttui juuri valheelliseksi.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari

Eiköhän se aina ole ollut enemmän tai vähemmän valhetta..

Käyttäjän MarkoMjlnirParkkola kuva
Marko Parkkola

Silloin kun kävin kauppista, meille ainakin opetettiin, että suoria valheita ei saa olla.

Käyttäjän magi kuva
Marko Grönroos

Inhoan kertoa teille, mutta loistava kirjoitus! Ollakseni rehellinen, olen ehkä melko varma, että minun mahtavat algoritmini toimisivat luultavasti vielä paremmin!

Yritin löytää tarkempaa tietoa, miten paljon tuli vääriä positiivisia ja vääriä negatiivisia, mutta en onnistunut moista kaivamaan tuosta artikkelista.

Olivat käyttäneet regressioanalyysiä, mikä viittaa tilastotieteelliseen taustaan, jos siihenkään. Nähtävästi kirjoittajat ovat lähinnä markkinoinnin tutkijoita, eivätkä todennäköisesti itse ole kehittäneet yhtään mitään algoritmia, kunhan käyttäneet regressioanalyysiä jostain tilastotieteen työkalusta. Nähtävästi lineaarista, mitkä nyt eivät ole niin kovin huippuja, mutta varmaan johonkin sopivat.

En nyt itse tunne regressioanalyysiä ja varsinkaan monitasoisia malleja juuri lainkaan, enkä jaksanut lukea juttua sen tarkemmin, joten en nyt äkkiseltään aivan osaa tulkita tuota. Periaatteessa tuo kuitenkin on luokitteluongelma ja ihmetyttää, miksi datasettiä ei oltu mitenkään jaettu opetus- ja testijoukkoon. Oliko tuossa siis vain analysoitu hajontaa koko joukossa ja jollain kriteerillä valittu osa näytteistä valheellisiin ja rehellisiin? Aika hämärä, eikä aivan aukea, miten tuota menetelmää käytetään käytännössä. No pitäisi tietenkin lukea tarkemmin, muttei nyt ehdi-jaksa-viitsi. Minä.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari

Hyvin ellei loistavasti valehdeltu.

Kari Ilkkala

Miten algoritmi reagoi kirjoittajaan, joka vankkumattomasti uskoo suoltamaansa puppuun?

Tiedän ja jopa tunnen lukuisia ihmisiä, pääosin poliitikkoja ja liike-elämässä toimijoita, joiden suuvärkki luo heille heidän oman todellisuutensa virheettömän jatkumon, tai joiden mielestä asioiden todellisen laidan määrittelee se, joka voittaa väittelyn.

Eivät he valehtele.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari

Valehtelija ei ehkä pidä valhettaan valheena (kun valhetta toistaa tarpeeksi usein, niin se alkaa muovautumaan muistissamme totuudeksi). Mutta tosiasia on kuitenkin se, että totuus ei muutu sen perusteella, uskooko kyseinen henkilö siihen vai ei.

Käyttäjän artoartovihavainen kuva
Arto Vihavainen

Loppujen lopuksi totuus on se mihin uskomme.

Uskovaisuus on siksi hyvä asia että uskovaiset voivat keskenään sopia ainakin yhdestä asiasta, olkootpa se asia vaikka kuinka joutavanpäiväinen, kuten joku jumaluus, mihin uskotaan.

Valehtelijoitakin on moneksi, on niitä jotka opettavat lapsiaan ettei kaikkeen pidä uskoa. On niitä jotka narraa leikillään ja tekee kepposia. On niitä jotka valehtelee tahallaan, hyötyäkseen muiden kustannuksella ja niitä jotka vain ovat väärässä, vaikka kuvittelevat totuutta levittävänsä.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari Vastaus kommenttiin #14

Suurin osa valheista suojaa meitä vahingoittavilta totuuksilta.

Käyttäjän artoartovihavainen kuva
Arto Vihavainen Vastaus kommenttiin #16

"Suurin osa valheista suojaa meitä vahingoittavilta totuuksilta"

Hmmm....

Tätä pitää vähän miettiä,
mutta nyt ei ennätä,
pitää hakea auto huollosta.

Käyttäjän OSAKARIK kuva
Olli Kankaanpää Vastaus kommenttiin #17

Kyllä asia on näin. Monet valehtelevat myös itselleen.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari Vastaus kommenttiin #18

Aivan. Itsepetos on varsin yleistä. Se hyödyttää meitä sekä henkisesti että konkreettisesti.

Käyttäjän artoartovihavainen kuva
Arto Vihavainen Vastaus kommenttiin #16

"Suurin osa valheista suojaa meitä vahingoittavilta totuuksilta."

Hirveän miettimisprosessin jälkeen tulin siihen tulokseen että totuus on ilmeisesti se että totuus ei ole vahingoittava vaan enimmäkseen parantava. Tämäkään ei siis ole ehdoton totuus, vaan avainsana on tuo "enimmäkseen" mikä tässä puheena olevassa algoritmissä ilmeisesti tulkitaan negatiivisena. :)

Toisin sanoen, totuuden peittely, mihin valheilla pyritään, on "yleensä" vahingollisempaa kuin se totuus mitä valheella yritetään peitellä.

Käyttäjän OSAKARIK kuva
Olli Kankaanpää

Valehtelematta voin sanoa, että en erota Laura Huhtasaarta sinusta.

Käyttäjän VesaLevonen kuva
Vesa Levonen

Ihmisen käyttäytymiseen liittyy aina inhimillisyys ja sitä ei kone pysty havaitsemaan. Mikä on valhe, jos ihminen ei itsekään käsitä valehtelevansa johtuen eri inhimillisyyteen liittyvistä seikoista, esimerkiksi mielentilasta ja kehitystasosta?

Käyttäjän JuhoJoensuu kuva
Juho Joensuu

(Patologisen) valehtelun huippu on kuitenkin kertoa pelkkää totuutta niin, että osa vastaanottajista ymmärtää rivien välissä olevan valheen ehdottomana totuutena.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari

Mikä totuuden kertominen?
Patologinen valehtelija tuntee pakonomaista tarvetta kertoa valheita, toistuvasti ja mielivaltaisesti, kaikissa tilanteissa myös sellaisissa, joissa hänen ei tarvitsisi valehdella.

Käyttäjän jussiosmola kuva
Matti Jussi Korhonen

Valehtelemisesta, tai paremminkin valehtelemattomuudesta, tulee mieleeni aina Jim Carreyn tähdittämä elokuva Valehtelija, valehtelija (Liar,Liar, USA,1997).

Carreystä voidaan olla montaa mieltä, mutta olin löytävinäni elokuvassa vakavan pohjavireen; kuinka paljon tarvitsemmekaan pieniä valheita selvitäksemme (joka päiväisestä) elämästä - joko helpommin tai yleensä ehjin nahoin.

Tosin alustaja taisi tarkoittaa viestimissä ilmenevää muunnellun totuuden käyttämistä totuuden sijaan ja sen paljastamista. Yhtä kaikki; valheella, niin kansakäymisesä kuin viestinnässä, voi joskus olla pitkät jäljet.

Käyttäjän SaaraHuhtasaari kuva
Saara Huhtasaari

Valehtelu tuo sosiaalista mukavuutta.

Käyttäjän topira kuva
Topi Rantakivi

En usko, että mikään algoritmi paljastaisi valehtelun, sillä se edellyttäisi henkilöstä kerättyä tietoa.

Juuri täällä oli puhetta siitä kuinka ihmiset lukitsevat ovet nykyään ja joku loihe lausumaan, ettei muumitaloa yöksi jätetä...

Algoritmi tulkitsisi heti valheeksi. Siinä pulma. Ei ole mahdollista ellei etukäteen kerätä henkilöstä tietoa ja se on yksityisyyden loukkaamista.

Käyttäjän rjaaskel kuva
Risto Jääskeläinen

Kuten profiilissanikin kerrotaan, niin ajoittain raittiina ja rehellisenä ihmisenä olen vähän huolissani moisesta tekoälystä. Jos sitä käytetään ja se pääsee vain 70% tarkkuuteen, niin sitten jos osuukin siihen virhetulkittuun väestönosaan, niin joutuu todistamaan syyttömyyttään. Ajattelin tässä sitä tekoälyä jonkinlaisena viranomaistyökaluna.

Itse käytän esimerkiksi sen tyylisiä sanontoja kuin "melko varmasti" juuri siksi, että yli 99,9% varmuus on jo usein valehtelua.

Käyttäjän artoartovihavainen kuva
Arto Vihavainen

"Itse käytän esimerkiksi sen tyylisiä sanontoja kuin "melko varmasti" juuri siksi, että yli 99,9% varmuus on jo usein valehtelua."

Ei se valehtelua ole, se on yleensä vain seuraus vähän vinoutuneesta maailmannäkemyksestä, sillä se joka tietää, ymmärtää ettei niitä täysin varmoja asioita juurikaan ole. Siksi ei ole valehtelua käyttää sanontaa "melko varmasti" ja vastaavia, se on päinvastoin merkki varsin realistisesta näkemyksestä.

Mutta olen kuitenkin sitä mieltä ettei se 99%:nen varmuus mitään valehtelua ole, se on vain tietämättömyyttä ja ehkä jotain salaperäistä varmuuden kaipuuta, joka on sukua uskovaisuudelle.

Käyttäjän vylitalo kuva
Ville Ylitalo

Täysin varmoja asioita on itseasiassa käytännössä loputtomasti. Niistä ei ole vain yleensä mitään hyötyä. Pystyn luomaan vaikka loppuikäni täysin varmoja totuuksia. Esimerkiksi "1+1=2, 1+2=3, sininen on sininen, punainen on punainen, auto on auto...".

Käyttäjän rjaaskel kuva
Risto Jääskeläinen Vastaus kommenttiin #29

Matemaattiset lausekkeet voi sanoa tosiksi ilman sitä todennäköisyyttä, Mutta kun mennään reaalimaailmaan, niin yksi porkkana + yksi porkkana voi jo ollakin jonkun mielestä puolitoista porkkanaa. Kun eivät ole samankokoisia jne.

Käyttäjän TiinaTeittinen kuva
Tiina Teittinen Vastaus kommenttiin #31

Nyt meni kyllä matemaattisesti metsään ihan joka tavalla.

Käyttäjän rjaaskel kuva
Risto Jääskeläinen Vastaus kommenttiin #33

Tässä virheistäkorjattu versio:
Matemaattiset lausekkeet voi sanoa epätosiksi ilman sitä todennäköisyyttä, Mutta kun mennään utopiamaailmaan, niin yksi porkkana + yksi porkkana ei voi olla kenenkään mielestä puolitoista porkkanaa. Kun kaikki ovat samankokoisia jne.

Käyttäjän rjaaskel kuva
Risto Jääskeläinen

Artolle: Ehkä on parempi puhua tietämättömyydestä tässä yhteydessä.

Käyttäjän MaxStenbck kuva
Max Stenbäck

Ethän sinä mihinkään väestönosaan joudu, koska olet ajoittain rehellinen. Se väestönosakin on 16 prosenttiyksikköä pienempi koneen, kuin ihmisen lokeroimana.

Käyttäjän TiinaTeittinen kuva
Tiina Teittinen

Minkä ajattelit olevan prosentin esim. kokeneiden, pitkälle koulutettujen lääkäreiden diagnostiikan suhteen? Mielestäni tekoäly pääsee pelottavan lähelle.

Käyttäjän rjaaskel kuva
Risto Jääskeläinen

Vastausta kommenttiin nro 34. Onpas vaikea nähdä kohdistusta pitemmässä keskusteluketjussa. Ilmeisesti minulta kysyt? Välttelen lääkäreitä, joten mikä tuon diagnosoinnin osuvuuden suhde on syyllisyyskysymyksiin?

Toimituksen poiminnat

Tämän blogin suosituimmat kirjoitukset