Kunstmatige intelligentie is een onmisbaar hulpmiddel geworden bij het detecteren van psychische aandoeningen zoals depressie via sociale mediakanalen. Een gedetailleerde evaluatie, uitgevoerd door recent afgestudeerden van Northeastern University, Yuchen Cao en Xiaorui Shen, legt echter significante vooroordelen en methodologische problemen van deze AI-modellen bloot. Hun inzichten draaien om het onthullen van de afhankelijkheid van deze tools van onvolmaakte data en methodologieën, waardoor hun betrouwbaarheid in praktische toepassingen in twijfel wordt getrokken.

Achtergrond van het Onderzoek

Yuchen Cao en Xiaorui Shen begonnen hun onderzoek aan de campus van Northeastern University in Seattle. Gedreven door een wens om nauwkeurig te onderzoeken hoe machine learning en deep learning-modellen worden gebruikt in studies over geestelijke gezondheid, werkten ze samen met collega’s van andere universiteiten om de bestaande academische literatuur kritisch te evalueren. Hun gezamenlijke inspanning resulteerde in een systematische evaluatie van 47 artikelen, gericht op hoe AI wordt ingezet om depressie te detecteren bij gebruikers van verschillende sociale mediaplatforms. Dit uitgebreide werk is gepubliceerd in het Journal of Behavioral Data Science.

De Methodologische Manco’s

De analyse bracht verschillende gebreken aan het licht in de onderzochte AI-modellen. Een belangrijke bevinding was dat slechts 28% van de studies passende hyperparameteraanpassingen deed. Deze nalatigheid ondermijnt de prestaties van deze AI-tools. Bovendien gebruikte ongeveer 17% van de studies onjuiste data-indelingspraktijken, wat een verhoogd risico op overfitting met zich meebrengt, waarbij het model ruis in plaats van patronen leert, wat leidt tot onbetrouwbare voorspellingen.

Ongelijkheid in Data en de Gevolgen

Sociale mediaplatforms zoals Twitter, Reddit en Facebook bieden een schat aan door gebruikers gegenereerde inhoud die rijp is voor dit soort analyses. De studies waren echter sterk afhankelijk van data van een beperkte demografie—voornamelijk Engelssprekende gebruikers in de Verenigde Staten en Europa. De oververtegenwoordiging van westerse gebruikers roept vragen op over de representativiteit van de conclusies van deze studies op wereldschaal. Het gebruik van platforms was onevenwichtig, aangezien X (voorheen Twitter) het meest werd gebruikt, wat terug te zien is in de data-aggregatiestrategieën van slechts acht studies die meerdere platforms combineerden.

De Genuanceerde Natuur van Taal

Het aanpakken van de linguïstische subtiliteiten inherent aan menselijke spraak blijft een van de grootste uitdagingen. De studies slaagden er vaak niet in om nuances zoals ontkenningen en sarcasme—elementen die cruciaal zijn voor het nauwkeurig detecteren van tekenen van depressie—adequaat aan te pakken. Slechts 23% van de beoordeelde studies legde uit hoe ze met deze linguïstische uitdagingen omgingen, wat wijst op een lacune in de methodologieën.

De Weg naar Verbetering

Zoals benadrukt door de afgestudeerden, resulteert het niet naleven van bepaalde basisprincipes die bekend zijn bij computerwetenschappers vaak in onnauwkeurigheden. Hun kritische beoordeling maakte gebruik van het PROBAST-instrument, ontworpen om de transparantie en reproduceerbaarheid van voorspellingsmodellen te evalueren. Niet verrassend bleek dat veel studies ontbeerden in het verstrekken van essentiële informatie, waardoor hun beoordeling en replicatie werden belemmerd. Om stappen te zetten naar nauwkeurigere AI-tools, pleiten de onderzoekers voor het stimuleren van samenwerkingen en suggereren ze de ontwikkeling van educatieve middelen zoals wiki’s of tutorials om vakkennis effectief te verspreiden.

Deze inzichten vormen een oproep tot actie voor de wetenschappelijke gemeenschap om AI-modellen die worden gebruikt in toepassingen voor geestelijke gezondheid opnieuw te evalueren en te verfijnen. Een diverse dataset, beter afgestemde modellen, en duidelijke methodologieën zullen de weg effenen voor AI-tools die een echt wereldwijd publiek dienen. Zoals vermeld in Northeastern Global News, kijken ze uit naar het delen van hun bevindingen en het aanmoedigen van een verschuiving naar meer rigoureuze AI-modelconstructie tijdens de komende bijeenkomst van de International Society for Data Science and Analytics in Washington, D.C.