Kyseessä on työkalu, jolla voit analysoida ihmisten vastauksia avoimiin kysymyksiin (esim. kyselyt, palautteet, tuotearvostelut, tukipyyntöjen tekstit, työhakemuskirjeet). Lähtödata on siis joukko tekstivastauksia samaan kysymykseen. Tämä kysymys voi olla eksplisiittinen (esim. “Mitä mieltä olet tämän verkkosivuston luotettavuudesta?”) tai implisiittinen (esim. yhteydenottolomakkeen kautta saadut tiedustelut yrityksestä).
Työkalun arvo syntyy siitä, että ihminen ei helposti näe metsää puilta, kun vastauksia on tyyliin 10 tai enemmän. Tarvitaan siis työkalu, joka auttaa ymmärtämään, mitä vastaukset tarkoittavat kokonaisuutena (Global Insights – mikä on palautteen yleiskuva) ja suhteessa toisiinsa (Per-Response Insights – esimerkiksi mikä työhakemus erottuu parhaana).
Esimerkiksi otin Sijoitustiedon palauteketjusta viestit vuoden 2022 alusta tähän päivään ja analysoin ne.
Raportista näkee suoraan: a) mitkä ovat tärkeimmät parannuskohteet ja b) mikä on palautteen sentimentti.
Lisäksi yksittäiset palautteet voi lukea joko substanssin tai (emotionaalisen) valenssin mukaan järjestettynä.
Jos palvelu kiinnostaa, kuka tahansa voi tehdä vastaavan analyysin täysin ilmaiseksi (syötetyn aineiston pituudessa on toki rajoitus). Raportin voi myös julkaista ja jakaa jossain päin internettia, mikä olisi tietysti toivottavaa sivuston näkyvyyden kannalta. Jos palvelulle löytää toistuvaa käyttöä ilman julkaisua, tai muuten haluaa tukea projektia, niin sivustolta löytyy BuyMeACoffee -linkki.
PS: Jos käytössä tai julkaisussa on epäselvyyksiä, niistä voi olla yhteydessä alla olevaan osoitteeseen. Mielenkiintoista raakadataa voi myös lähettää suoraan sähköpostitse, jos ei itse halua käyttää työkalua. Sivusto on alkuvaiheessa tarvitsee lisää esimerkkejä.
joel [at] textresponsehub.com (joel[at]textresponsehub[dot]com)
Kuten nimestäkin voi ehkä päätellä, kyseessä on Judge My Website:n sisarsaitti, jossa koehenkilötutkimuksen kohteena on asiakkaan kuva tai kuvat.
Palvelussa kuvia voidaan arvioida kolmella eri tavalla:
Image Selection: lataa 2–4 kuvaa, ja koehenkilöt valitsevat niiden joukosta suosikin. Esimerkiksi: “Which photo works best for a profile pic?”, “Which flyer would you pick up?” tai “Which logo has the winning look?” Tuloksena saat selkeät prosentit, visuaalisen jaon ja tilastollisen analyysin siitä, mikä kuva pärjäsi parhaiten.
Numerical Evaluation: jos haluat arvioida yhtä kuvaa, koehenkilöt antavat sille numeerisia arvosanoja eri kysymyksiin vastaten (“How visually appealing is this image?”). Lopputuloksena on helposti ymmärrettävä keskiarvo, jota voi vertailla eri projektien ja iteraatioiden välillä.
Verbal Feedback: osallistujat kirjoittavat vapaamuotoisia kommentteja, jotka TextResponseHubin engine tiivistää yleisiksi näkemyksiksi. Näin selviää, millaisia ajatuksia kuva herättää.
Joku voi kysyä, onko ihmispalautteella arvoa, kun tekoälykin osaa nykyään arvioida ja antaa palautetta kuvista. Ja vastaus on, että on. Tekoälyn kyky generoida kuvia on kaikkien tiedossa ja jokaisella on siitä omat mielipiteensä, mutta tekoälyn kyky antaa palautetta kuvista on ehkä vähemmän mietitty ja pohdittu asia. Me olemme sitä tutkineet, ja ihmisen kyky antaa hyödyllistä palautetta kuvista >> tekoälyn kyky antaa hyödyllistä palautetta kuvista. Lisää asiasta täällä.
Summa summarum: ihmispalautteelle ei ole vastinetta kuvien valinnassa ja arvioinnissa.
Machines can measure pixels. Only people can measure beauty.
Jos siis haluat tietää, mikä kuva toimii parhaiten ja miksi, käy tutustumassa: judgemyimage.com
Kyseessä on työkalu, jolla voi analysoida uutisartikkelin, blogipostauksen, mielipidekirjoituksen tai minkä tahansa yhtenäisen tekstin position ja biakset (=vinoumat).
Homma toimii niin, että käyttäjä syöttää artikkelin URL-osoitteen tai copy-pasteaa koko artikkelin tekstikenttään. Tämän jälkeen työkalu ekstraktoi artikkelin keskeiset väittämät – tai tarkemmin sanoen niiden ulottuvuudet. Esimerkiksi Aki Pyysingin kolumnista “Algoritmit pelastettiin – taas” löytyy dimensio “The Helsinki Stock Exchange's handling of trading errors is transparent and follows regulations”. Mutta tämä on vasta dimensio: vielä emme tiedä, mihin herra Pyysingin viisari asettuu. Onko hän väitettä vastaan vai sen puolesta?
Seuraavaksi käyttäjä valitsee dimension, jonka haluaa analysoida. Lopputuloksena saadaan artikkelin positio ja biakset (framing bias, selection bias, confirmation bias & emotional appeal) kyseisen dimension suhteen. Esimerkiksi Aki on vahvasti edellä mainittua väittämää vastaan ja käyttää biasoitua kieltä väitteensä tueksi. Tämä on varsin tyypillinen tilanne: jos on vahvasti jotakin mieltä, on vaikea – ellei peräti mahdotonta – kirjoittaa täysin tasapainoisesti, varsinkin jos teksti syntyy “lämpimänä”.
Jos bias-analyysi kiinnostaa, kuka tahansa voi tehdä niitä täysin ilmaiseksi (syötetyn aineiston pituudessa on toki rajoitus). Kannustan myös julkaisemaan bias-raportin sivustolla ja jakamaan sen jossain päin internetiä, jotta palvelu saa näkyvyyttä ja domaini auktoriteettia. Kiitos!
Jos siis haluat nähdä, kuinka neutraalia tai vinoutunutta teksti todellisuudessa on, käy kokeilemassa: checktextbias.com
PS: Disclaimerina täytyy sanoa, että tulokset eivät ole mikään lopullinen totuus asioista, ja kritiikkiä saa esittää. Esimerkiksi position ja biasien välillä näyttää olevan jonkin verran korrelaatiota, ja on vielä tutkimatta, missä määrin tämä johtuu tekstistä itsestään ja missä määrin algoritmin tavasta analysoida. Tulkinta siis omalla vastuulla!
Ihan mielenkiintoista teknologiaa, mutta tämähän on laimea versio inhimillisestä taidosta "luetun ymmärtäminen".
Sitten aidoista nyansseista ei jakseta edes keskustella, koska voidaan linkata tämmöisen työkalun raporttiin, että "tää sanoo näin", ja moni pitää sitä neutraalina ja absoluuttisena mittarina epätarkan pikaheuristiikan sijaan.
Edit: Yleensäkin tuntuu, että suurin osa tekoälyn ongelmallisuudesta liittyy siihen, että ihmiset luottavat siihen aivan liikaa.
Kyl ihan hyvin toimii. Heitin tonne jotain oman blogin tekstejä. Ja pääväittämät poimii hyvin. Lisäks varmaankin bias mittari kohillaan. Koska se mulla varmaan on kyseisistä aiheista. Tekeekö tuo mitään fact check itse? Ei vissiin se arvioi suoraan onko näkemys bias perustuen miten väittämä esitetään ja perustellaan. Eli mitähän toi sanois jos tonne työntäs esim Lavrovin propaganda höpinät YK:st
Ihan mielenkiintoista teknologiaa, mutta tämähän on laimea versio inhimillisestä taidosta "luetun ymmärtäminen".
Sitten aidoista nyansseista ei jakseta edes keskustella, koska voidaan linkata tämmöisen työkalun raporttiin, että "tää sanoo näin", ja moni pitää sitä neutraalina ja absoluuttisena mittarina epätarkan pikaheuristiikan sijaan.
Edit: Yleensäkin tuntuu, että suurin osa tekoälyn ongelmallisuudesta liittyy siihen, että ihmiset luottavat siihen aivan liikaa.
Tämä huolestuttaa itseänikin aika lailla. Ulkoistetaan oma looginen ajatusprosessi. Pelottava ajatus tulevaisuudesta jossa yksittäisten ihmisten ajatusprosessit taantuvat.
Pikaheuristiikka on aika hyvä termi kuvaamaan "tekoälyä". Ne osoittavat usein oikeaan suuntaan, mutta käyttäjän pitäisi osata viedä prosessi loppuun itsenäisesti.
Toi bias-palvelu vois toimia just siihen, että se tuo ilmi ilmiselvät biakset, jos ei jaksa ihan nollista aloittaa. Toisaalta moneen viihdyttävään tekstilajiin kuuluu vahva puolueellisuus, kuten Akin teksteihin.
Pitää kokeilla kun tulee vastaan joku selkeä keissi.
Ihan mielenkiintoista teknologiaa, mutta tämähän on laimea versio inhimillisestä taidosta "luetun ymmärtäminen".
Sitten aidoista nyansseista ei jakseta edes keskustella, koska voidaan linkata tämmöisen työkalun raporttiin, että "tää sanoo näin", ja moni pitää sitä neutraalina ja absoluuttisena mittarina epätarkan pikaheuristiikan sijaan.
Edit: Yleensäkin tuntuu, että suurin osa tekoälyn ongelmallisuudesta liittyy siihen, että ihmiset luottavat siihen aivan liikaa.
Kiitos mielenkiintoisesta palautteesta!
Vertaus luetun ymmärtämisen taitoon on osuva, ja kommentti siitä, että työkalu on laimea versio siitä, pitää myös paikkansa.
Kysymys kuuluu tietysti, onko tällaiselle suuntaa-antavalle mittarille paikkaansa. Jos ihmisten sisäänlukutaito olisi hyvä (eli ei esimerkiksi lukihäiriötä), jos ihmisillä olisi aikaa ja viitseliäisyyttä lukea huolellisesti kaiken lukemansa, ja jos ihmisillä ei olisi biaksia luetun ymmärtämisessä, niin vastaus olisi: ei ole.
Koska näihin asioihin ei ole mitään suoraviivaista ratkaisua – ja koska kehitys on pikemminkin menossa huonompaan kuin parempaan suuntaan – on mielestäni järkevää etsiä vaihtoehtoisia ratkaisuja, vaikka niissä toki on omat puutteensa. Nykyään ihmisten keskittymiskyky on tyyliin 30 sekuntia. Ja jos vähän kärjistetään, aletaan olla tilanteessa, jossa eletään eräänlaista “kulttuurisotaa”: jo ajatus erimielisen tekstin lukemisesta saa veret kiehumaan, ja kyky objektiiviseen luetun ymmärtämiseen katoaa viimeistään siinä vaiheessa.
Minulla ei vielä ole tästä empiiristä evidenssiä, mutta aion hankkia, ja pidän melko selvänä, että pystyn osoittamaan: ihmisen virhe poliittisesti erimielisen tekstin ymmärtämisessä on huomattavasti suurempi kuin kehittämäni mittarin virhe.
Jos JR:n editin kääntää toisinpäin, niin mielestäni iso osa ihmisten väliseen kanssakäymiseen ongelmallisuudesta liittyy siihen, että ihmiset luottavat omiin tulkintoihinsa aivan liikaa. Mittari tuo tähän objektiivisuutta.
Kyl ihan hyvin toimii. Heitin tonne jotain oman blogin tekstejä. Ja pääväittämät poimii hyvin. Lisäks varmaankin bias mittari kohillaan. Koska se mulla varmaan on kyseisistä aiheista. Tekeekö tuo mitään fact check itse? Ei vissiin se arvioi suoraan onko näkemys bias perustuen miten väittämä esitetään ja perustellaan. Eli mitähän toi sanois jos tonne työntäs esim Lavrovin propaganda höpinät YK:st
Kiitos kannustavasta palautteesta!
Juuri näin – mitään faktantarkistusta tässä ei tehdä, vaan kyseessä on tekoälyllä toteutettu sentimenttianalyysi. LLM:illä on monia puutteita, ja ehkä pahin niistä liittyy niihin koodatun tiedon laatuun ja luotettavuuteen. Siksi myöskään faktantarkistus ei olisi luotettava.
Sen sijaan LLM:t ovat omimmillaan tiivistämään ja analysoimaan inputtia silloin, kun niiden ei tarvitse itse keksiä tai “hallusinoida” mitään uutta. Checktextbias.com on tekoälyapplikaatio, mutta itse asiassa ei ole edes kovin olennaista, että se on sellainen – vastaavan olisi voinut tehdä (suuremmalla vaivalla) myös klassisen sentimentti/tekstianalyysin keinoin.
Kannattaa testata noita Lavrovin propagandahöpinöitä!
Tämä huolestuttaa itseänikin aika lailla. Ulkoistetaan oma looginen ajatusprosessi. Pelottava ajatus tulevaisuudesta jossa yksittäisten ihmisten ajatusprosessit taantuvat.
Pikaheuristiikka on aika hyvä termi kuvaamaan "tekoälyä". Ne osoittavat usein oikeaan suuntaan, mutta käyttäjän pitäisi osata viedä prosessi loppuun itsenäisesti.
Toi bias-palvelu vois toimia just siihen, että se tuo ilmi ilmiselvät biakset, jos ei jaksa ihan nollista aloittaa. Toisaalta moneen viihdyttävään tekstilajiin kuuluu vahva puolueellisuus, kuten Akin teksteihin.
Pitää kokeilla kun tulee vastaan joku selkeä keissi.
Kiitos mielenkiintoisesta palautteesta!
On aivan totta, että kehittämäni sovellus altistaa älylliseen laiskuuteen. Toisessa vaakakupissa taas on se, että olemme jo valmiiksi älyllisesti niin laiskoja ja omien biaksiemme uhreja, että pikaheuristiikalle on ehkä paikkansa.
Toinen ehkä huolestuttava piirre on myös mahdollisuus raporttien käyttämiseen lyömäaseena. Missään tapauksessa tarkoitus ei ollut “mockata” Akin hienoa kolumnia – pidän häntä erinomaisena kolumnistina. Eihän siinä, että ottaa kantaa asioihin värikkäästikin, ole mitään väärää. Tärkeintä on tietää, milloin ylipäätään pyritään objektiivisuuteen – ja milloin siihen on päästy.
Jos tämä projekti herättää mielenkiintoa, kannustan kokeilemaan sitä, käyttämään sen julkaisuominaisuutta oman raportin julkaisuun ja postaamaan sen jonnekin internettiin. Tämä on kaikki kaikessa palvelun saattamisessa kaiken kansan nähtäville.
