Slik kjenner vi igjen fisken din

I premiumversjonen vår får du tilgang på verdens mest avanserte fiskegjenkjenning. Det var enklere sagt enn gjort.

Det er en grunn til at fiskegjenkjenningen foreløpig er lansert som beta-versjon, og fremdeles testes for å bli bedre. En lang stund var vi usikre på om det i det hele tatt lot seg gjøre, det vi hadde bestemt oss for å få til.

Så avansert er nemlig fiskegjenkjenningen, at den egentlig er laget for å kjenne igjen den eksakte fisken, ikke en fisk av samme art. Ta ansiktsgjenkjenningen du kanskje har på mobiltelefonen din som eksempel. Den hadde ikke vært mye å skryte av, om den låste opp for andre enn deg?

Våre utvikleres utfordring har vært den motsatte. Hvordan lærer man datamaskinen opp til å kjenne igjen de særegne trekkene for fiskearten – istedenfor å lete etter nøyaktig samme fisk? Det er ikke nødvendigvis enklere, selv om det kanskje kan høres slik ut.

Kunstig intelligens

For å få til dette, har vi måtte ty til ikke bare ett, men to kunstig intelligente nettverk (KI). Når disse to samarbeider, øker vi sjansen for at appen skal klare å skille mellom lyr og sei, sjøørret og laks.

Ved hjelp av kameraet på mobiltelefonen din skal FiskHer kunne artsidentifisere 50 av de mest vanlige fiskeartene langs norskekysten. Det er ingen enkel jobb å gi en telefon, og det er mange faktorer som kompliserer en slik oppgave. Men det vi har funnet ut, er altså at vi oppnår høyest nøyaktighet ved å kombinere de to nettverkene.

Finner fisken

Dette blir teknisk, men les videre om du skulle være interessert. Det første vi gjør er å benytte oss av Google firebase AutoML Vision Edge. Denne modellen brukes til å lete opp generelle objekter, før algoritmen slår inn. Visjon Edge er trent på å kjenne igjen om lag 400 forskjellige kategorier, og dekker det aller meste som er vanligst å ta bilder av. Det er denne vi bruker for at appen skal oppdage at det er en fisk du tar bilde av.

Algoritmer

Når Vision Edge har funnet objektet det skal tas bilde av – i vårt tilfelle fisken – har den også bestemt hvilken informasjon som skal behandles av selve fiskegjenkjennings-algoritmen. Når du knipser bildet, blir de bittesmå datapikslene sendt gjennom en gigantisk modell som er trent på å gjenkjenne fiskearter. Denne har vi matet med tusenvis av bilder av de ulike artene, tatt på ulike måter, i forskjellige vinkler, med varierende oppløsning og under alle slags forhold.

For at appen skal kjenne igjen fisken, er det imidlertid viktig at du tar et best mulig bilde av den. Skarp sol er en utfordring, for hvordan skal en datamaskin klare å skille mellom skygger og fiskens faktiske profil?

Slik tar du bildet

Forsøk å plassere fisken i skyggen, og ikke i direkte sollys. (Er du ute i båt på en solrik dag, kan du lage skygge med kroppen din, for eksempel). Hold telefonen så rolig som du klarer og få med så mye av fisken som mulig i utsnittet. Sørg for ta bilde av fisken fra siden, i den grad det lar seg gjøre. Prøv på nytt, om du ikke får tilfredsstillende resultat.

Om du har fulgt disse rådene og likevel ikke er fornøyd med resultatet, kan du trykke på «send til manuell vurdering». Da vil våre eksperter se på fisken, og sende deg svar.