'AI-modellen voor gewasziekten vaak niet betrouwbaar'

De onderzoekers van de vakgroep Plant en Gewas van de faculteit Bio-ingenieurswetenschappen aan de UGent leggen in een studie, waarvan de resultaten recent zijn verschenen in het toonaangevende tijdschrift Trends in Plant Science, bloot dat de prestaties vaak niet standhouden buiten de dataset waarop de modellen zijn ontwikkeld. Daarmee schuilt er een ‘fundamenteel probleem’ in de betrouwbaarheid van de modellen die niet zijn getest op onafhankelijke datasets.

In liefst 89 procent van de onderzochte studies zijn de datasets van dezelfde percelen gebruikt voor het trainen en testen van het model. In driekwart van de studies werd het hele model gebouwd op datasets van één enkel perceel. 'Dat is problematisch, omdat dan niet kan worden aangenomen dat deze modellen ook goed presteren wanneer ze worden toegepast op een ander veld', concluderen de onderzoekers.

In 11 procent van de gevallen is wel een onafhankelijke testset gebruikt. 'Bij ongeveer de helft van deze studies daalden de prestaties aanzienlijk zodra het model werd toegepast op nieuwe data. Slechts 6 procent van de geanalyseerde studies kan goede resultaten voorleggen wanneer het model geconfronteerd wordt met nieuwe data.' Voor de onderzoekers staat daarmee vast dat het in de praktijk niet vanzelfsprekend is dat een getraind model dus ook goed zal werken op een nieuw perceel.

Onvoldoende betrouwbare data voor toepassing op andere percelen en seizoenen

„Er zijn twee onderliggende problemen. Ten eerste leert het met een beperkte dataset op een enkel veld mogelijk toevallige kenmerken herkennen van de trainingsdata, in plaats van relevante kenmerken. Ten tweede kunnen symptomen ook erg verschillen tussen verschillende cultivars, verschillende jaren of groeiomstandigheden – ook dat moet je zo’n model aanleren, maar dat gebeurt dus niet”, verklaart professor Wouter Maes van UGent. „Als je de datasets beperkt tot een enkel veld, lijken de modellen dus bijzonder accuraat, terwijl ze in werkelijkheid onvoldoende robuust zijn om toegepast te worden op andere percelen, seizoenen of omstandigheden."

Hoewel de studie zich richt op de detectie van ziekten en plagen via dronebeelden, zien de onderzoekers gelijksoortige problemen opduiken in andere toepassingen van artificiële intelligentie binnen de landbouw en daarbuiten. Denk bijvoorbeeld aan onkruiddetectie, nutriëntenanalyse, droogtestressmonitoring, bosbouwtoepassingen en andere vormen van remote sensing.

Aanbevelingen: fundamentele koerswijzigingen nodig voor robuuste toepassing

De studie pleit voor een fundamentele koerswijziging. Voor het bouwen van datasets en aan het lerend vermogen van AI wordt aangeraden om gegevens te verzamelen op meerdere percelen en meerdere seizoenen, en om minstens één perceel volledig apart te houden voor het testen van het model. Het delen van datasets en modellen is ook belangrijk om robuustere toepassingen mogelijk te maken. Ook richting onderzoekers is er een boodschap: „Onafhankelijke datasets moeten de wetenschappelijke standaard worden voor het delen van conclusies en het simuleren van modellen.”