Tiede

Tekoäly voi tunnistaa pienestä puhenäytteestä jopa ihmisen nenän muodon

Ikä, sukupuoli ja etniset piirteet löytyvät äänestä helpohkosti, mutta tekoäly päättelee jotain myös esimerkiksi nenän muodosta.

Ihmisen äänessä on piirteitä, joista voi päätellä, minkä näköinen hän on. Näin väittää joukko tutkijoita, jotka ovat kehittäneet Speech2Face -tekoälyn.

Tekoäly yrittää tuottaa kuvan ihmisen kasvoista vain hänen äänensä perusteella. Lyhyen ääninäytteen jälkeen tekoäly tuottaa kuvan, joka ei ole näköinen, mutta jossa selvästi on lausujan piirteitä.

Tekoälyn kehittäjät sanovat, että äänen perusteella kehitetyn kuvan korrelaatio eli vastaavuus oikean kuvan kanssa on suurempi kuin jos kuva olisi tuotettu sattumalta, kertoo verkkosivu Arxive.

Kuvat ovat karkeita. Niistä kuitenkin paljastuu helposti puhujan ikä, etninen tausta ja sukupuoli.

Osaamme luonnostaan tunnistaa ihmisestä jotain äänen perusteella. Esimerkiksi lasten ja vanhusten äänet on melko helppoa tunnistaa, samoin miehen ja naisen. Aiemmin onkin tutkittu lähinnä iän ja sukupuolen ennustamista puheesta.

Kasvoissa on kuitenkin ihmiselle tyypillisiä visuaalisia piirteitä, jotka korreloivat tulleen syötteen kanssa, kertovat tutkijat FastCompanyn verkkosivulla. Yksi näistä on esimerkiksi nenän muoto.


Äänet otettiin videopalvelu Youtuben videoista. Tutkijat kouluttivat Speech2Facea niiden avulla.

He loivat hermoverkkoihin perustuvan mallin, joka ”oppii videoiden kasvojen muotoihin liittyviä vokaalisia ominaisuuksia”.

Verkkosivu Neurohive kertoo, että tekijät poimivat Youtuben videoista puhe-kasvopareja, jotka syötettiin tekoälyn kahteen eri polkuun. Kuvat ensinnäkin koodattiin käyttämällä kasvojentunnistuksen mallia.

Äänen aaltomuoto syötetään äänikooderiin, ja siitä saatu näyte syötetään kasvojen polkuun. Näin syntyy äänen ja kuvan versio. Kuvien ääniä voi kuunnella tällä sivulla.

Jos kasvokuvan voi suunnilleen ennustaa suoraan äänestä, voi sille olla sovelluksia. Tavalliseen puheluun esimerkiksi voisi liittää hahmotelman puhujan kasvoista pelkän äänen perusteella.

Tutkijat muistuttavat, että kehittelyyn liittyy myös eettistä pohdintaa, koska kasvoista saatava informaatio on niin tärkeää.

Tätä ennen toisen tekoälyn avulla on jo pystytty tuottamaan videonauhoihin uuspuhetta. Siinä videolle voi laittaa puhujan suuhun sanoja ja lauseita, ja kuvatun huulet tuntuvat silti liikkuvan jota kuinkin sen mukaisesti.

Siksi Speech2facen tutkijat sanovat, että tekoälyn malli poimii vain ominaisuuksia, jotka ovat yhteisiä monille yksilöille liittyen ikään, sukupuoleen ja vastaaviin. Malli siis tuottaa vain keskimääräisen näköisiä kasvoja.

Tutkijat ovat aiemmin kehitelleet esimerkiksi henkilökohtaista äänitunnistetta. Se tunnistaisi esimerkiksi pankkiin soittavat asiakkaat, jotka kyselevät luottokorteista. Tällainen äänitunniste tunnistaisi äänesi näytteen, kertoo verkkosivu FastCompany.

Ääninäytteisiin liittyy myös pelkoja. Äänestä voi ehkä tietää myös puhujan tunnetilan. Amazonin englantia ymmärtävälle kotiavustaja Alexalle on haettu patenttia. Alexa toimii puheohjauksella ja se voisi tunnistaa äänestä tunnetilasi.

Amazon on sanonut, että se ei käytä äänitallenteita kohdennettuun mainontaan. Ainakaan vielä.

Kommentit

Kommentit

    Ei vielä kommentteja. Kirjoita ensimmäinen.

    Ei vielä nimellä kirjoitettuja kommentteja. Kirjoita ensimmäinen.

    Näytä lisää
    Luetuimmat
    • Juuri nyt
    • Päivä
    • Viikko
    1. 1

      Lastenlinna oli suomalaisen hyvinvoinnin symboli: Nyt hylätty sairaala seisoo Töölössä keskellä aavemaista hiljaisuutta

    2. 2

      Frendit ja Seinfeld ikääntyivät – toinen teki sen arvokkaasti, toinen on niin homofobinen, että sitä katsoessa täytyy irvistää

      Tilaajille
    3. 3

      Ari Nurminen, 23, halusi lossikuskiksi ja se löi lähipiirin ällikällä: ”Moni hämmästeli, että oletko ihan tosissasi”

    4. 4

      Serkku sanoi, että lähdetään heittämään frisbeetä, ja nyt Väinö Mäkelä tienaa elantonsa frisbeegolfilla

    5. 5

      Tarja Myllyrinne asuu ensimmäisessä kerroksessa yhdellä Helsingin meluisimmista kaduista: Tällainen on hänen kotinsa

      Tilaajille
    6. 6

      Ed Sheeranin fanit eivät saa armoa: jos keikalle ei pääse, lippua ei käytännössä voi antaa kellekään muulle

    7. 7

      Synkkä puhelu sai päivystäjän itkemään kesken hätäpuhelun: Saana Välimaa kertoo vaativasta mutta kiittämättömästä työstä luolassa Uudellamaalla

      Tilaajille
    8. 8

      ”Riski, jota ihmiset eivät tunnista” – Heinäkuu on liikenteessä kuoleman kuukausi, ja vaarassa ovat etenkin nuoret

      Tilaajille
    9. 9

      Espanjan köyhimmässä kolkassa varttui poikkeuksellinen porukka miehiä, jotka muuttivat maailmaa

    10. 10

      Valtion kontrolloima unkarilais­lehti väittää: ”Suomessa ei ole itsenäistä perustus­laillista oikeus­järjestelmää”

    11. Näytä lisää
    1. 1

      Tarja Myllyrinne asuu ensimmäisessä kerroksessa yhdellä Helsingin meluisimmista kaduista: Tällainen on hänen kotinsa

      Tilaajille
    2. 2

      Harri Virtasen elämä särkyi, kun äiti pysäytti auton keskellä metsätietä: vasta aikuisena Virtanen toipui, ja nyt hän auttaa myös toisia pois trauman kierteestä

      Tilaajille
    3. 3

      Ed Sheeranin fanit eivät saa armoa: jos keikalle ei pääse, lippua ei käytännössä voi antaa kellekään muulle

    4. 4

      Fitnessmalli Sofia Belórfia epäillään törkeästä rahanpesusta, puolisoa törkeästä doping- ja huumerikoksesta

    5. 5

      Trump jatkoi hyökkäystään demokraattiedustajia kohtaan, yleisö yltyi huutoon: ”Lähettäkää hänet takaisin” – Mutta nyt Trump sanoo, että huutelu tuntui hänestä ”vähän pahalta”

    6. 6

      ”Merkittävin päätös, minkä Kone on koskaan tehnyt” – Suomalaisella hissijätillä on edessään valtava valinta, joka ei ole vain yhtiön omissa käsissä

    7. 7

      Perheenisä Kim Holvialan silmien alla liikkui vuosia huumeita – Nyt hän kertoo, miten Tor-verkon pimeä huumekauppa toimii

      Tilaajille
    8. 8

      Valtion kontrolloima unkarilais­lehti väittää: ”Suomessa ei ole itsenäistä perustus­laillista oikeus­järjestelmää”

    9. 9

      Rankan treenin jälkeen seuraava tunti on palautumisen kannalta tärkein, ja silloin kylmästä suihkusta voi olla haittaa

    10. 10

      Synkkä puhelu sai päivystäjän itkemään kesken hätäpuhelun: Saana Välimaa kertoo vaativasta mutta kiittämättömästä työstä luolassa Uudellamaalla

      Tilaajille
    11. Näytä lisää
    1. 1

      Harri Virtasen elämä särkyi, kun äiti pysäytti auton keskellä metsätietä: vasta aikuisena Virtanen toipui, ja nyt hän auttaa myös toisia pois trauman kierteestä

      Tilaajille
    2. 2

      Synkkä puhelu sai päivystäjän itkemään kesken hätäpuhelun: Saana Välimaa kertoo vaativasta mutta kiittämättömästä työstä luolassa Uudellamaalla

      Tilaajille
    3. 3

      Parisuhde etenee kolmessa vaiheessa ja yhdessä niistä on suurin riski erota – ongelmia voi ehkäistä, kun tekee muutaman asian ajoissa

      Tilaajille
    4. 4

      VR vaihtoi kesäkuussa siivousyhtiötä, nyt likaiset junat ihmetyttävät niin matkustajia kuin henkilökuntaakin

    5. 5

      Kotona ei ole vessaa eikä jääkaappia – Tiina Malinen muutti itse rakentamaansa minivaunuun vuonna 2016 ja on pärjännyt vähemmällä kuin luuli    

    6. 6

      Töölöläinen Liisa Eskelinen etsii Facebookissa kumppania pitkän kriteerilistan avulla: lapseton, äänestänyt kaikissa vaaleissa ja prioriteettina yhteinen aika

    7. 7

      Töölönlahdelle rakennettiin kymmenen jalkapallokentän kokoinen puisto, jossa ei viihdy oikein kukaan

    8. 8

      Tässä yksinkertainen ohje, jonka avulla jokainen voi laihtua pysyvästi 5–10 kiloa

    9. 9

      Bloggari Maria Nordin aiheutti sukupuoliristiriitaa käsittelevällä Pride-päivityksellään somemyrskyn, soitimme riidan osapuolille

    10. 10

      Finnair oli jättää yksin matkustavan nuoren ulos koneesta ylivarauksen takia – Lentoyhtiö kertoo, miten ylivaraustilanteet ratkaistaan

    11. Näytä lisää