Machine learning analyse van klimaatbeleidliteratuur toont discrepanties tussen wetenschappelijke aandacht, beleidsdichtheid en emissies

Dit artikel, gepubliceerd in npj Climate Action, onderzoekt de discrepanties tussen wetenschappelijke aandacht voor, de implementatie van, en de impact van klimaatbeleid. Het gebruik van machine learning om de omvangrijke klimaatbeleidsliteratuur in kaart te brengen, onthult significante ongelijkheden. Deze bevindingen zijn cruciaal voor het bevorderen van effectievere klimaatactie, omdat ze wijzen op gebieden waar wetenschappelijk onderzoek en beleidsinspanningen niet optimaal zijn afgestemd.

Inleiding: De urgentie van klimaatactie en de behoefte aan beleidsleren

De context van het artikel is de dringende noodzaak om de uitstoot van broeikasgassen drastisch te verminderen om de doelstellingen van het klimaatakkoord van Parijs te halen. Dit akkoord streeft ernaar de opwarming van de aarde te beperken tot ruim onder de 2°C en bij voorkeur tot 1,5°C boven pre-industriële niveaus. Echter, de huidige beleidsmaatregelen zijn ontoereikend om deze ambitieuze doelen te bereiken. De wereldwijde uitstoot blijft stijgen, ondanks de noodzaak om binnen de komende decennia netto-nul emissies te bereiken. Deze situatie vereist een snelle en effectieve leerproces uit de wetenschappelijke literatuur over klimaatbeleid.

De implementatiekloof tussen toezeggingen en concrete acties vereist een diepgaand begrip van welke beleidsinstrumenten in welke contexten werken. Er zijn duizenden klimaatbeleidsmaatregelen geïmplementeerd in verschillende sectoren en regio’s wereldwijd. Deze beleidsmaatregelen, verzameld in diverse databases, vormen een waardevolle bron voor beleidsleren. Er is echter ook een aanzienlijke wetenschappelijke literatuur over klimaatbeleidsinstrumenten, bestaande uit zowel ex-post evaluaties van reeds geïmplementeerde instrumenten als ex-ante studies van hoe verschillende instrumenten de uitstoot zouden kunnen verminderen.

De uitdaging van systematisch beleidsleren

Het systematiseren van deze omvangrijke en diverse literatuur is een complexe uitdaging. De moeilijkheid zit in het definiëren van duidelijke systeemgrenzen voor klimaatgerelateerde beleidsmaatregelen en het ontbreken van consistente en uitgebreide typologieën voor klimaatbeleid. Bovendien maakt de omvang van de literatuur, die verspreid is over verschillende wetenschappelijke gemeenschappen en diverse sectoren, instrumenttypes en analyse-kaders, grootschalige evidence synthesis bijzonder lastig.

Digitale technologieën, machine learning en natural language processing (NLP) bieden veelbelovende mogelijkheden om deze uitdaging aan te gaan en systematisch beleidsleren te bevorderen. Deze technologieën kunnen de taak van het Intergovernmental Panel on Climate Change (IPCC) vergemakkelijken, dat tot taak heeft uitgebreide beoordelingen van de wetenschap van klimaatverandering te leveren.

Machine learning voor het in kaart brengen van klimaatbeleidliteratuur

Dit artikel beschrijft een belangrijke stap in de richting van het versnellen van het leren over klimaatbeleid door een overzicht te geven van de ontwikkelingen in het veld. Machine-learning methoden uit NLP worden gebruikt om de wetenschappelijke literatuur over klimaatbeleid systematisch in kaart te brengen. Een systematische kaart “verzamelt, beschrijft en catalogiseert beschikbaar bewijs” om “bewijs te identificeren voor beleidsrelevante vragen, kennislacunes en kennisclusters”. In plaats van direct antwoorden te geven op vragen over de effecten van klimaatbeleid, laat deze kaart zien wat is bestudeerd en waar, waardoor mogelijke richtingen voor primair onderzoek (inclusief financiering) worden geïnformeerd en verder evidence synthesis werk mogelijk wordt gemaakt.

Gezien de omvang van de literatuur is de traditionele, handmatige aanpak voor het samenstellen van zo’n kaart niet haalbaar voor onderzoeksgebieden met duizenden papers. Met behulp van een set van meer dan 2500 handmatig gecodeerde documenten wordt het taalmodel ClimateBERT verfijnd om de subset van 84.990 studies in de bredere klimaatliteratuur te identificeren die klimaatbeleidsinstrumenten onderzoekt, ze te categoriseren op beleidstype en sector, en het type analyse te bepalen dat is toegepast. Deze geautomatiseerde classificatiepipeline maakt het mogelijk een levende systematische kaart te leveren ter ondersteuning van onderzoeksactiviteiten en wetenschappelijke beoordelingen.

Een nieuwe typologie van klimaatbeleidsinstrumenten

Het artikel begint met het definiëren van wat een klimaatbeleid is en het ontwikkelen van een nieuwe typologie van klimaatbeleidsinstrumenten die inconsistenties en lacunes in bestaande schema’s aanpakt. Dit maakt het mogelijk om een werkbare definitie van een klimaatbeleid te operationaliseren, die wordt gebruikt om studies met de hand te coderen en een machine-learning model te trainen om de bredere klimaatbeleidsrelevante literatuur te identificeren en te categoriseren. Nadat het model is gebruikt om inclusie- en categorielabels te voorspellen voor honderdduizenden potentieel relevante documenten, wordt het landschap van klimaatbeleidonderzoek verkend om te identificeren welke soorten instrumenten zijn bestudeerd en waar. De dichtheid van klimaatbeleidonderzoek wordt afgezet tegen de dichtheid van daadwerkelijke beleidsmaatregelen en de verdeling van emissies, waardoor kan worden onderzocht waar, en in welke sectoren, beleidsonderzoek overeenkomt met uitgevaardigde beleidsmaatregelen.

De definitie van een klimaatbeleidsinstrument is essentieel. Het artikel hanteert een benadering waarbij beleidsmaatregelen alleen worden opgenomen als emissiereducties worden genoemd of als een beleid ondubbelzinnig wordt gemotiveerd door de wens om de uitstoot van broeikasgassen te verminderen. Beleid dat direct gericht is op broeikasgassen, zoals een koolstofbelasting, wordt altijd opgenomen. Subsidies voor hernieuwbare energie worden daarentegen alleen opgenomen als emissiereducties of klimaatdoelen worden genoemd. Deze definitie, hoewel beperkend, zorgt voor consistentie en minimaliseert ambiguïteit.

De nieuwe typologie van klimaatbeleid is gestructureerd in drie niveaus en is gedefinieerd door de middelen waarmee overheden of gemeenten beleidsdoelen nastreven:

Overeenkomsten: Het sluiten van overeenkomsten met andere actoren, zowel statelijke als niet-statelijke.
Economische instrumenten: Het verstrekken van financiering of het veranderen van economische prikkels (bijv. koolstofprijs versus subsidie).
Regelgevende instrumenten: Het mandateren van wat andere actoren wel of niet mogen doen.
Informatie, educatie en training: Het verstrekken van informatie of het opbouwen van capaciteit in de verwachting dat dit het gedrag van andere actoren verandert.
Governance, strategieën en doelstellingen: Het stellen van doelen of strategieën, of het veranderen van institutionele arrangementen.

Deze typologie is gebaseerd op de klassieke NATO typologie, die het werk verbindt met de bredere beleidsliteratuur.

Methodologie: Dataverzameling en Machine Learning

Om de literatuur over klimaatverandering instrumenten te identificeren en te classificeren, wordt de open access bibliografische database OpenAlex doorzocht met een query (reproduceerbaar in de aanvullende materialen) die tot doel heeft de hele klimaatliteratuur te identificeren. Deze query kan specifieke klimaat relevante beleidsmaatregelen missen die niet verwijzen naar emissiereducties of klimaatdoelen, maar volgens de operationele definitie van klimaatbeleidsliteratuur zouden dergelijke documenten niet in de studie worden opgenomen. De query leverde 1.026.371 studies op.

Deze documenten worden gescreend, waarbij die documenten worden gemarkeerd die relevant zijn volgens de definitie en, indien relevant, wordt het specifieke klimaatbeleidsinstrument geregistreerd waarop ze zich richten (op elk van de 3 niveaus). Als er meerdere instrumenten zijn geanalyseerd, wordt elk van deze geregistreerd. Ook de sector waarop het instrument gericht is, wordt geregistreerd, evenals de naam van het beleidsinstrument, het land waarin het beleid is uitgevaardigd of voorzien, het bestuursniveau waarop het beleid is uitgevaardigd of voorzien, of de studie ex-post of ax-ante analyse biedt, of de methodologie kwantitatief of kwalitatief is.

Na het handmatig screenen, worden machine learning classifiers getraind om elk van deze categorieën te classificeren, en wordt een pre-trained geoparser gebruikt om de locaties die in elke studie worden genoemd, te extraheren. Een verscheidenheid aan pre-trained taalmodellen, waaronder ClimateBERT, die aanvullende pre-training op klimaat relevante teksten heeft ondergaan, worden beoordeeld.

Op basis van F1 scores (die begrensd zijn tussen 0 en 1 en het harmonische gemiddelde van precisie, het aandeel van voorspelde positieve gevallen dat echt positief is, en recall, het aandeel van echt positieve gevallen dat positief wordt voorspeld, beschrijven) voor de verschillende labels, wordt vastgesteld dat ClimateBERT de categorieën inclusie, sector en het hoogste niveau van de instrumenttypologie het beste voorspelt. Hier wordt een macro F1 score van 0,66 waargenomen, hoewel de prestaties sterk variëren van de minst frequente categorie (informatie, educatie en training, die een F1 score van 0,31 behaalde met 57 gelabelde voorbeelden) tot de meest frequente categorie (economische instrumenten, die een F1 score van 0,86 behaalde met 460 gelabelde voorbeelden). De classifier prestaties waren niet altijd betrouwbaar op het meer gedetailleerde niveau, hoewel het beste model carbon pricing kon identificeren met een F1 score van 0,77 (294 gelabelde voorbeelden), behaalde het een F1 score van 0 voor de categorie “Institutions” (44 gelabelde voorbeelden). Daarom wordt in de volgende paragrafen verwezen naar instrumenten op het hoogste niveau van de hiërarchie, evenals in individuele gevallen naar specifieke sub-instrumenten die goed werden geclassificeerd.

Resultaten: Groeiende Literatuur, Discrepanties en Geografische Variatie

De resultaten laten zien dat de literatuur over klimaatbeleidsinstrumenten sterk groeit. De meest voorkomende instrumenttypen zijn economische instrumenten en governance-strategieën en -doelstellingen. Het type bestudeerd instrument varieert aanzienlijk per sector.

De studie onthult significante discrepanties tussen wetenschappelijke aandacht, beleidsdichtheid en broeikasgasemissies. De VS en China, de twee grootste uitstoters, worden in een aanzienlijk deel van de literatuur bestudeerd, maar hun aandeel in de wereldwijde uitstoot is nog groter. Wanneer het aantal studies wordt genormaliseerd door de broeikasgasemissies, worden het VK en Zweden de meest bestudeerde landen in verhouding tot hun uitstoot.

De verdeling van de beleidsliteratuur komt niet altijd overeen met de dichtheid van het klimaatbeleid in de verschillende landen. De verhouding tussen studies en beleid is hoog voor de VS en China en laag voor Afrika, wat suggereert dat er kennislacunes kunnen zijn over het Afrikaanse klimaatbeleid.

Beleidsmix in wetenschap en beleid

De wetenschappelijke aandacht voor beleid van verschillende typen kan al dan niet overeenkomen met het aandeel van beleidsmaatregelen van verschillende instrumenttypen in elk land, rekening houdend met de beperkingen in de reikwijdte van zowel literatuur- als beleidsdatabases. Een grotere divergentie tussen wetenschappelijke en beleidsmatige aandacht kan erop wijzen dat de prioriteiten of voorkeuren van wetenschappers en beleidsmakers uiteenlopen, hetzij (afhankelijk van het perspectief) omdat wetenschappers hun aandacht niet adequaat richten op de beleidstypen die in een land politiek haalbaar zijn, hetzij omdat beleidsmakers geen beleid uitvaardigen dat wordt ondersteund en bestudeerd door de meerderheid van de wetenschappers.

Door nauwkeuriger naar afzonderlijke landen te kijken, kan worden gemeten in hoeverre de instrumenttypen in de literatuur overeenkomen met die van uitgevaardigd beleid door het verschil op te tellen tussen het percentage studies en het percentage uitgevaardigd beleid over elk beleidsinstrument. Dit varieert sterk per land. Van de landen met ten minste 5 uitgevaardigde beleidsmaatregelen en 50 beleidsstudies hebben Korea, Portugal, Finland, Noorwegen en Zwitserland verdelingen van instrumenttypen in de literatuur die het meest lijken op de verdeling van uitgevaardigde beleidsmaatregelen. Laos, Rusland, Singapore, de Filippijnen en Zuid-Afrika hebben verdelingen van instrumenttypen in de literatuur die het sterkst verschillen van de verdeling van uitgevaardigde beleidsmaatregelen. In elk van de laatste gevallen weegt het aandeel van de literatuur over economische instrumenten aanzienlijk zwaarder dan het aandeel van de uitgevaardigde economische beleidsinstrumenten.

Argumenten over de vraag of er voldoende wetenschappelijke aandacht is voor beleid gezien de politieke context en belangen, dan wel of beleidsmakers voldoende rekening houden met wetenschappelijke inzichten, zijn vaak gericht op economische instrumenten, met name koolstofbeprijzing. Er is sprake van moeilijke implementatie en/of beperkte effectiviteit. De studie toont aan dat de focus in het klimaatbeleidonderzoek inderdaad relatief sterk op economische instrumenten ligt, maar dat de verschillen per regio groot zijn.

Sectorale verschillen

In termen van sectorale dekking, bespreekt een groot aantal documenten de energiesector, of cross-sectorale emissiereducties (respectievelijk 28% en 33% van de paper-sector vermeldingen). De energiesector is ook de grootste bron van emissies, goed voor 37% van de wereldwijde netto GHG-emissies in 2021. Het aandeel van papers per sector was vergelijkbaar met, of iets groter dan het aandeel van emissies in alle sectoren met uitzondering van de industrie, die goed was voor 23% van de wereldwijde GHG-emissies, maar slechts 8% van de wetenschappelijke aandacht, en 13% van het geïmplementeerde beleid. Dit grote verschil suggereert dat wetenschappelijke aandacht en beleid gericht op de industrie tekortschieten in het belang van de industriesector in termen van emissies.

De gebouwen- en transportsector vallen in positieve zin op, omdat het beleid en de wetenschappelijke aandacht groter zijn dan hun bijdrage aan de emissies. Echter, ondanks de relatief kleine bijdrage van deze sectoren in termen van emissies (in vergelijking met de aandacht die ze krijgen) is er weinig vooruitgang geboekt bij het verminderen van de emissies in deze sectoren in vergelijking met de energiesector. De toegenomen beleids- en wetenschappelijke aandacht zou daarom bewijs kunnen zijn van pogingen om het gebrek aan vooruitgang te herstellen.

Discussie: De rol van machine learning en kennislacunes

De studie concludeert dat machine learning een waardevol instrument is voor het in kaart brengen van de klimaatbeleidsliteratuur. Het stelt onderzoekers, beleidsmakers en beoordelingsprocessen in staat om op kosteneffectieve wijze op de hoogte te blijven van wetenschappelijk bewijs. Er worden kennislacunes en discrepanties blootgelegd die relevant zijn voor het verbeteren van de effectiviteit van klimaatbeleid.

Ondanks de voordelen zijn er beperkingen aan de gebruikte methodologie. De classificaties zijn niet altijd foutloos, en de definitie van klimaatbeleidsliteratuur sluit bepaalde relevante studies uit. De Engelse taal van de zoekstrategie kan de dekking in niet-Engelstalige landen beperken.

Desalniettemin levert de studie een belangrijke bijdrage aan het begrip van de complexiteit van klimaatbeleid. Het benadrukt de noodzaak van evidence-based besluitvorming en de rol van systematische reviews in het informeren van beleid. De interactieve kaart van klimaatbeleidsliteratuur die als community resource beschikbaar wordt gesteld, kan bijdragen aan het sluiten van de evidence synthesis gap en het bevorderen van effectievere klimaatactie.

Methoden (verdieping)

De methoden van de studie zijn rigoureus en transparant beschreven. Supervised machine learning wordt gebruikt om een systematische kaart op te schalen, volgens een vooraf geregistreerd protocol. Na het ophalen van documenten die waarschijnlijk relevant zijn voor klimaatverandering, worden 2580 papers met de hand gescreend en gecodeerd. Machine learning modellen worden getraind om de screening- en codeerbeslissingen te reproduceren en de prestaties van deze modellen worden geschat met behulp van kruisvalidatie. Vervolgens wordt de verdeling van papers over klimaatbeleidsinstrumenten beschreven en vergeleken met de verdeling van uitgevaardigde beleidsmaatregelen en van emissies.

De keuze van een geschikte query voor het ophalen van relevante documenten is cruciaal. De query is aangepast van eerdere studies en omvat specifieke klimaatbeleidsmaatregelen, zoals koolstofbeprijzing, die ondubbelzinnig gerelateerd zijn aan klimaatverandering.

De definitie van klimaatbeleidsinstrumenten wordt zorgvuldig overwogen, rekening houdend met de complexiteit van beleid dat emissies kan beïnvloeden. De studie hanteert een hybride aanpak, die zowel het beleid zelf als de focus van de paper in aanmerking neemt.

Het screenen en coderen van documenten is een intensief proces, waarbij elk document wordt beoordeeld op verschillende categorieën, waaronder de relevantie voor klimaatverandering, de aard van de beleidsinstrumenten, de sectorale toepassing, het bestuursniveau en het type analyse (ex-post of ex-ante).

De training van machine learning modellen omvat de selectie van geschikte taalmodellen en de optimalisatie van hyperparameters. Nested cross-validation wordt gebruikt om de prestaties van de modellen op onbekende gegevens te schatten.

Conclusie

Het artikel biedt een uitgebreide analyse van de klimaatbeleidsliteratuur met behulp van machine learning. De resultaten onthullen belangrijke discrepanties tussen wetenschappelijke aandacht, beleidsdichtheid en emissies, wat wijst op gebieden waar beleidsleren kan worden verbeterd. De studie benadrukt de waarde van machine learning voor het in kaart brengen van omvangrijke literatuur en het informeren van evidence-based besluitvorming. De bevindingen zijn relevant voor onderzoekers, beleidsmakers en andere belanghebbenden die zich inzetten voor effectieve klimaatactie.

Bronnen: