koira wrote:

Tämä huolestuttaa itseänikin aika lailla. Ulkoistetaan oma looginen ajatusprosessi. Pelottava ajatus tulevaisuudesta jossa yksittäisten ihmisten ajatusprosessit taantuvat.

Pikaheuristiikka on aika hyvä termi kuvaamaan "tekoälyä". Ne osoittavat usein oikeaan suuntaan, mutta käyttäjän pitäisi osata viedä prosessi loppuun itsenäisesti.

Toi bias-palvelu vois toimia just siihen, että se tuo ilmi ilmiselvät biakset, jos ei jaksa ihan nollista aloittaa. Toisaalta moneen viihdyttävään tekstilajiin kuuluu vahva puolueellisuus, kuten Akin teksteihin.

Pitää kokeilla kun tulee vastaan joku selkeä keissi.

Kiitos mielenkiintoisesta palautteesta!

On aivan totta, että kehittämäni sovellus altistaa älylliseen laiskuuteen. Toisessa vaakakupissa taas on se, että olemme jo valmiiksi älyllisesti niin laiskoja ja omien biaksiemme uhreja, että pikaheuristiikalle on ehkä paikkansa.

Toinen ehkä huolestuttava piirre on myös mahdollisuus raporttien käyttämiseen lyömäaseena. Missään tapauksessa tarkoitus ei ollut “mockata” Akin hienoa kolumnia – pidän häntä erinomaisena kolumnistina. Eihän siinä, että ottaa kantaa asioihin värikkäästikin, ole mitään väärää. Tärkeintä on tietää, milloin ylipäätään pyritään objektiivisuuteen – ja milloin siihen on päästy.

Jos tämä projekti herättää mielenkiintoa, kannustan kokeilemaan sitä, käyttämään sen julkaisuominaisuutta oman raportin julkaisuun ja postaamaan sen jonnekin internettiin. Tämä on kaikki kaikessa palvelun saattamisessa kaiken kansan nähtäville. 

krp wrote:

Kyl ihan hyvin toimii. Heitin tonne jotain oman blogin tekstejä. Ja pääväittämät poimii hyvin. Lisäks varmaankin bias mittari kohillaan. Koska se mulla varmaan on kyseisistä aiheista. Tekeekö tuo mitään fact check itse? Ei vissiin se arvioi suoraan onko näkemys bias perustuen miten väittämä esitetään ja perustellaan. Eli mitähän toi sanois jos tonne työntäs esim Lavrovin propaganda höpinät YK:st

Kiitos kannustavasta palautteesta!

Juuri näin – mitään faktantarkistusta tässä ei tehdä, vaan kyseessä on tekoälyllä toteutettu sentimenttianalyysi. LLM:illä on monia puutteita, ja ehkä pahin niistä liittyy niihin koodatun tiedon laatuun ja luotettavuuteen. Siksi myöskään faktantarkistus ei olisi luotettava.

Sen sijaan LLM:t ovat omimmillaan tiivistämään ja analysoimaan inputtia silloin, kun niiden ei tarvitse itse keksiä tai “hallusinoida” mitään uutta. Checktextbias.com on tekoälyapplikaatio, mutta itse asiassa ei ole edes kovin olennaista, että se on sellainen – vastaavan olisi voinut tehdä (suuremmalla vaivalla) myös klassisen sentimentti/tekstianalyysin keinoin.

Kannattaa testata noita Lavrovin propagandahöpinöitä!

JR wrote:

Ihan mielenkiintoista teknologiaa, mutta tämähän on laimea versio inhimillisestä taidosta "luetun ymmärtäminen".

Sitten aidoista nyansseista ei jakseta edes keskustella, koska voidaan linkata tämmöisen työkalun raporttiin, että "tää sanoo näin", ja moni pitää sitä neutraalina ja absoluuttisena mittarina epätarkan pikaheuristiikan sijaan.

Edit: Yleensäkin tuntuu, että suurin osa tekoälyn ongelmallisuudesta liittyy siihen, että ihmiset luottavat siihen aivan liikaa.

Kiitos mielenkiintoisesta palautteesta!

Vertaus luetun ymmärtämisen taitoon on osuva, ja kommentti siitä, että työkalu on laimea versio siitä, pitää myös paikkansa.

Kysymys kuuluu tietysti, onko tällaiselle suuntaa-antavalle mittarille paikkaansa. Jos ihmisten sisäänlukutaito olisi hyvä (eli ei esimerkiksi lukihäiriötä), jos ihmisillä olisi aikaa ja viitseliäisyyttä lukea huolellisesti kaiken lukemansa, ja jos ihmisillä ei olisi biaksia luetun ymmärtämisessä, niin vastaus olisi: ei ole.

Koska näihin asioihin ei ole mitään suoraviivaista ratkaisua – ja koska kehitys on pikemminkin menossa huonompaan kuin parempaan suuntaan – on mielestäni järkevää etsiä vaihtoehtoisia ratkaisuja, vaikka niissä toki on omat puutteensa. Nykyään ihmisten keskittymiskyky on tyyliin 30 sekuntia. Ja jos vähän kärjistetään, aletaan olla tilanteessa, jossa eletään eräänlaista “kulttuurisotaa”: jo ajatus erimielisen tekstin lukemisesta saa veret kiehumaan, ja kyky objektiiviseen luetun ymmärtämiseen katoaa viimeistään siinä vaiheessa.

Minulla ei vielä ole tästä empiiristä evidenssiä, mutta aion hankkia, ja pidän melko selvänä, että pystyn osoittamaan: ihmisen virhe poliittisesti erimielisen tekstin ymmärtämisessä on huomattavasti suurempi kuin kehittämäni mittarin virhe.

Jos JR:n editin kääntää toisinpäin, niin mielestäni iso osa ihmisten väliseen kanssakäymiseen ongelmallisuudesta liittyy siihen, että ihmiset luottavat omiin tulkintoihinsa aivan liikaa. Mittari tuo tähän objektiivisuutta.

Viimeisenä esittelyvuorossa CheckTextBias.com.

Kyseessä on työkalu, jolla voi analysoida uutisartikkelin, blogipostauksen, mielipidekirjoituksen tai minkä tahansa yhtenäisen tekstin position ja biakset (=vinoumat).

Homma toimii niin, että käyttäjä syöttää artikkelin URL-osoitteen tai copy-pasteaa koko artikkelin tekstikenttään. Tämän jälkeen työkalu ekstraktoi artikkelin keskeiset väittämät – tai tarkemmin sanoen niiden ulottuvuudet. Esimerkiksi Aki Pyysingin kolumnista “Algoritmit pelastettiin – taas” löytyy dimensio “The Helsinki Stock Exchange's handling of trading errors is transparent and follows regulations”. Mutta tämä on vasta dimensio: vielä emme tiedä, mihin herra Pyysingin viisari asettuu. Onko hän väitettä vastaan vai sen puolesta?

Seuraavaksi käyttäjä valitsee dimension, jonka haluaa analysoida. Lopputuloksena saadaan artikkelin positio ja biakset (framing bias, selection bias, confirmation bias & emotional appeal) kyseisen dimension suhteen. Esimerkiksi Aki on vahvasti edellä mainittua väittämää vastaan ja käyttää biasoitua kieltä väitteensä tueksi. Tämä on varsin tyypillinen tilanne: jos on vahvasti jotakin mieltä, on vaikea – ellei peräti mahdotonta – kirjoittaa täysin tasapainoisesti, varsinkin jos teksti syntyy “lämpimänä”.

Bias-analyysi kolumnista “Algoritmit pelastettiin – taas”

Jos bias-analyysi kiinnostaa, kuka tahansa voi tehdä niitä täysin ilmaiseksi (syötetyn aineiston pituudessa on toki rajoitus). Kannustan myös julkaisemaan bias-raportin sivustolla ja jakamaan sen jossain päin internetiä, jotta palvelu saa näkyvyyttä ja domaini auktoriteettia. Kiitos!

Jos siis haluat nähdä, kuinka neutraalia tai vinoutunutta teksti todellisuudessa on, käy kokeilemassa: checktextbias.com

PS: Disclaimerina täytyy sanoa, että tulokset eivät ole mikään lopullinen totuus asioista, ja kritiikkiä saa esittää. Esimerkiksi position ja biasien välillä näyttää olevan jonkin verran korrelaatiota, ja on vielä tutkimatta, missä määrin tämä johtuu tekstistä itsestään ja missä määrin algoritmin tavasta analysoida. Tulkinta siis omalla vastuulla!

Terve taas!

Seuraavana esittelyvuorossa on Judge My Image.

Kuten nimestäkin voi ehkä päätellä, kyseessä on Judge My Website:n sisarsaitti, jossa koehenkilötutkimuksen kohteena on asiakkaan kuva tai kuvat.

Palvelussa kuvia voidaan arvioida kolmella eri tavalla:

Image Selection: lataa 2–4 kuvaa, ja koehenkilöt valitsevat niiden joukosta suosikin. Esimerkiksi: “Which photo works best for a profile pic?”, “Which flyer would you pick up?” tai “Which logo has the winning look?” Tuloksena saat selkeät prosentit, visuaalisen jaon ja tilastollisen analyysin siitä, mikä kuva pärjäsi parhaiten.

Numerical Evaluation: jos haluat arvioida yhtä kuvaa, koehenkilöt antavat sille numeerisia arvosanoja eri kysymyksiin vastaten (“How visually appealing is this image?”). Lopputuloksena on helposti ymmärrettävä keskiarvo, jota voi vertailla eri projektien ja iteraatioiden välillä.

Verbal Feedback: osallistujat kirjoittavat vapaamuotoisia kommentteja, jotka TextResponseHubin engine tiivistää yleisiksi näkemyksiksi. Näin selviää, millaisia ajatuksia kuva herättää.

Joku voi kysyä, onko ihmispalautteella arvoa, kun tekoälykin osaa nykyään arvioida ja antaa palautetta kuvista. Ja vastaus on, että on. Tekoälyn kyky generoida kuvia on kaikkien tiedossa ja jokaisella on siitä omat mielipiteensä, mutta tekoälyn kyky antaa palautetta kuvista on ehkä vähemmän mietitty ja pohdittu asia. Me olemme sitä tutkineet, ja ihmisen kyky antaa hyödyllistä palautetta kuvista >> tekoälyn kyky antaa hyödyllistä palautetta kuvista. Lisää asiasta täällä.

Summa summarum: ihmispalautteelle ei ole vastinetta kuvien valinnassa ja arvioinnissa.

Machines can measure pixels. Only people can measure beauty.

Jos siis haluat tietää, mikä kuva toimii parhaiten ja miksi, käy tutustumassa: judgemyimage.com

Tänään esittelyvuorossa on TextResponseHub.com

Kyseessä on työkalu, jolla voit analysoida ihmisten vastauksia avoimiin kysymyksiin (esim. kyselyt, palautteet, tuotearvostelut, tukipyyntöjen tekstit, työhakemuskirjeet). Lähtödata on siis joukko tekstivastauksia samaan kysymykseen. Tämä kysymys voi olla eksplisiittinen (esim. “Mitä mieltä olet tämän verkkosivuston luotettavuudesta?”) tai implisiittinen (esim. yhteydenottolomakkeen kautta saadut tiedustelut yrityksestä).

Työkalun arvo syntyy siitä, että ihminen ei helposti näe metsää puilta, kun vastauksia on tyyliin 10 tai enemmän. Tarvitaan siis työkalu, joka auttaa ymmärtämään, mitä vastaukset tarkoittavat kokonaisuutena (Global Insights – mikä on palautteen yleiskuva) ja suhteessa toisiinsa (Per-Response Insights – esimerkiksi mikä työhakemus erottuu parhaana).

Esimerkiksi otin Sijoitustiedon palauteketjusta viestit vuoden 2022 alusta tähän päivään ja analysoin ne. 

Sijoitustiedon palauteraportti 

Raportista näkee suoraan:
a) mitkä ovat tärkeimmät parannuskohteet ja
b) mikä on palautteen sentimentti.

Lisäksi yksittäiset palautteet voi lukea joko substanssin tai (emotionaalisen) valenssin mukaan järjestettynä.

Jos palvelu kiinnostaa, kuka tahansa voi tehdä vastaavan analyysin täysin ilmaiseksi (syötetyn aineiston pituudessa on toki rajoitus). Raportin voi myös julkaista ja jakaa jossain päin internettia, mikä olisi tietysti toivottavaa sivuston näkyvyyden kannalta. Jos palvelulle löytää toistuvaa käyttöä ilman julkaisua, tai muuten haluaa tukea projektia, niin sivustolta löytyy BuyMeACoffee -linkki.

Tervetuloa tutustumaan: textresponsehub.com

PS: Jos käytössä tai julkaisussa on epäselvyyksiä, niistä voi olla yhteydessä alla olevaan osoitteeseen. Mielenkiintoista raakadataa voi myös lähettää suoraan sähköpostitse, jos ei itse halua käyttää työkalua. Sivusto on alkuvaiheessa tarvitsee lisää esimerkkejä.

joel [at] textresponsehub.com (joel[at]textresponsehub[dot]com)

Kiitos mielenkiintoisista kysymyksistä!

Päädyin tähän projektiin – ja sen sisarprojektiin (josta lisää huomenna) – lähinnä siksi, että olen huomannut, miten heikolla ammattitaidolla “ihmisdataa” usein kerätään ja analysoidaan kaupallisella puolella, esimerkiksi mainostoimistojen markkinointitutkimuksissa.

Olen tehnyt väitöskirjan kokeellisesta sosiaalipsykologiasta Amsterdamissa, ja olin onnekkaassa tilanteessa siinä mielessä, että sain työskennellä Euroopan parhaiden “ihmismittamiesten” kanssa. Tiedän, miten koehenkilöasetelma rakennetaan, mitä ihmisiltä voi kysyä ja miten, ja miten heitä täytyy ohjeistaa, tarkkailla ja tarvittaessa rajata pois, jotta datan laatu on mahdollisimman hyvä.

Tavoitteena on siis vaatimattomasti tuoda “scientific-grade” ihmismittaustekniikka kaupalliseen käyttöön – kaikkien ulottuville.

Toinen puoli kaikesta tästä on raakadatan analysointi. Koehenkilöt tuottavat joukon täytettyjä kyselylomakkeita, mutta eihän niitä sellaisenaan voi asiakkaalle toimittaa. Numeeriset vastaukset on helppo keskiarvoistaa, mutta tekstidataa ei voi käsitellä samalla tavalla – se täytyy analysoida eri menetelmin. Tästä päästäänkin päivän aiheeseen, johon palaan pian.

Mitä markkinointiin tulee, niin annan ensin asioiden kehittyä orgaanisesti. Mitä vastaavasti pystyynvääntämiseen, niin voisin oikeastaan tehdä koostepostauksen sen jälkeen, kun kaikki palvelut on ensin esitelty.

Terve taas!

Ensimmäisenä esittelyvuorossa on Judge My Website.

Palvelun idea on varsin yksinkertainen:

Asiakas syöttää oman nettisivustonsa URL-osoitteen ja voi halutessaan räätälöidä sitä koskevan kyselytutkimuksen.

Sivustolle ohjataan koehenkilöitä, jotka ensin tutustuvat siihen ja täyttävät sen jälkeen kyselytutkimuksen.

Vastauksista tiivistetään raportti, joka toimitetaan asiakkaalle.

Raportti paljastaa, miten ihmiset kokevat sivuston. Onko se esteettisesti miellyttävä? Ymmärtävätkö käyttäjät, mistä sivustossa on kyse? Herättääkö se luottamusta? Ovatko tuotteet kiinnostavia? Tukevatko sisällöt konversiota? Toisin sanoen: tekeekö sivusto sen, mitä sen pitäisi tehdä.

Palvelu on suunnattu erityisesti pienyrityksille, joilla ei välttämättä ole omia resursseja hahmottaa, miten käyttäjät heidän sivustonsa kokevat. Toinen pääryhmä ovat start-up-yritykset ja niiden aihiot, sillä palvelulla voidaan helposti tehdä realistista markkinatutkimusta liikeidean kiinnostavuudesta (esim. kyselytutkimus painottuu tuotteiden houkuttelevuuteen). Muutamat yksityishenkilötkin ovat jo hyödyntäneet palvelua.

Koehenkilöt ovat englanninkielisiä ja seulottuja koehenkilöitä esimerkiksi palvelusta prolific.com. Haluttaessa koehenkilöt voidaan rajata hyvin tarkasti, mikä on usein tärkeää erityisesti markkinatutkimukseen pohjautuvissa nettisivutesteissä.

Jos siis haluat tietää, miten potentiaaliset asiakkaasi oikeasti kokevat verkkosivusi, käy tutustumassa: judgemywebsite.com 

Tervehdys pitkästä aikaa!

5,5 vuotta sitten rekisteröidyin tänne koronadippihuumassa. Silloin oli helppoa olla hyvä sijoittaja. Apinataktiikalla buy the fucking dip pärjäsi loistavasti. Mitä rohkeammin veti, sitä enemmän tuli rahaa. Itse vedin aika rohkeasti ja osakevarallisuus (=netto-omaisuus) kolminkertaistui noin 18 kuukaudessa. No, siitä se sitten puoliutui, kun hype suli ja kiinanraketit räjähtivät silmille. Yhtäkkiä treidaus ei ollutkaan niin siistiä.

Nyt on salkku taas ainakin lähellä ATH:ta ja kiinanraketitkin pärjäävät. Nykyään salkunhoitoon on löytynyt balanssia, ja päivittäisten kynttilöiden tuijottamisen sijaan keskityn lähinnä pitämään korvat auki ja hyödyntämään erikoistilanteita tyyliin NOVO. Olen myös oppinut itsestäni, että olen pohjimmiltani sen verran insinöörinörtti, ettei rahalla pelaaminen koskaan voi tuoda samanlaista ammatillista tyydytystä kuin asioiden rakentaminen.

Niinpä vajaa kolme vuotta sitten totesin, että on aika alkaa tehdä uusia juttuja digitaalisen transformaation parissa – kuten sitä tekoälyhypen alla muodikkaasti kutsuttiin. Itselläni toki on vahva pohja datahommista ja tietotyöstä, mutta moderni softakehitys, pilvipalvelut yms. olivat täyttä hepreaa. Pientä konsultointiapua sain, mutta muuten perinteisellä työ tekijäänsä opettaa -mentaliteetilla mentiin.

Tällä tiellä olen edelleen. Työnkuvan kannalta tämä on ollut ylivoimaisesti monipuolisin ja siistein ajanjakso urallani – taloudellisesti tosin heikoin. Se tosin johtuu lähinnä kait siitä, että olen jääräpäisesti puskenut omia juttujani markkinoille sen sijaan, että olisin tiimiytynyt jo toimivan toimijan kanssa.

Mitä sitten olen tehnyt? Noin vuosi sitten lanseeratusta (ja nyt käytännössä kuopatusta) Mind Metrologysta olen spin-offannut neljä utility-first -nettisivustoa. Jos Sijoitustiedolla ei ole mitään sitä vastaan, voisin esitellä ne tällä viikolla – yksi per päivä.

Huomiseen siis!

Hesuli on karsivallisen pilkkijan unelmalampi. Vaikka lappu tanaan ei koukkuun tarttunutkaan, niin aina tulee paiva jolloin sita saa viela edullisemmin.