Kategoriarkiv: evaluering

Politikkanalyse med utrolig overbevisning

Charles Manski (North Western University), en av mine største helter, har et nytt NBER arbeidsnotat ute om Policy Analysis With Incredible Certitude. Manski skjelner mellom analytiske praksiser som er ulogiske (illogical) og dem som er utrolige (incredible). De utrolige praksisene forsøker å konkludere fra forutsetninger og data til konklusjoner om konsekvenser av politikk på overdrevent selvsikkert vis. Manskis posisjon, utarbeida gjennom mange bøker og artikler, er at «the credibility of inference decreases with the strength of the assumptions maintained», og at vi i mange tilfeller burde nøye oss med å påpeke skiller mellom hva som er mulig under rimelige forutsetninger og hva som er umulig (også i boka Social Choice with Partial Knowledge of Treatment Response).

Jeg har stor sympati for dette synet i prinsippet, jeg kan nesten ikke se at en kan være prinsipiell motstander. Der ser ut til å åpne for en mer ydmyk og mindre skråsikker rolle for samfunnsforskeren. Men jeg er redd for at en som følger Manskis råd ikke nødvendigvis vil framstå som en mer ydmyk offentlig person. Manskis forslag er en god visjon men ikke nødvendigvis en klok strategi for enkeltforskere.

En som følger Manskis råd i offentligheten vil i mange tilfeller bli redusert til en kritiker. Mens andre forskere tar sjanser og fester navnet sitt til konkrete modeller og anslag, vil en kritiker som følger Manskis program risikere å bli oppfattet som en surmaget kritiker som bare påpeker svakheter i andres forskning. En som ofte må reduseres til å si at «dette kan vi ikke si noe om,» mens omgivelsene tar sjanser på konkrete anslag, vil oftest bli oppfattet som en upraktisk og virkelighetsfjern akademiker.

Men jeg er som sagt enig med Manski, ofte kan vi bare si veldig lite. Manski har et godt eksempel i paperet sitt fra han selv var med på vurdere forskning på kostnadseffektive anti-narkotika politikker. To store og seriøse institusjoner hadde knytta seg til forskjellige posisjoner: En som hevdet behandling var mest effektivt (RAND Corporation), en som hevdet forsøk på stoppe stoffene på grensa var mest effektivt (IDA). Manski, som ledet National Research Council Committee on Data and Research for Policy on Illegal Drugs, konkluderer at ingen av disse to innspillene kunne brukes til å trekke konklusjoner om effektiv politikk:

Each study may be coherent internally, but each rests on such a fragile foundation of weak data and unsubstantiated assumptions as to entirely undermine its findings. To its great frustration, the NRC committee had to conclude that the nation should not draw even the most tentative policy lessons from either study. Neither yields usable findings (Manski 2010, side 16).

Ikke lett å se hvordan en skal etablere en posisjon for seg selv hvor en på en troverdig måte kan være så agnostisk uten å bli beskyldt for å være feig, lat eller arrogant. Manski, anerkjent av profesjonen som en dyp tenker, kan kanskje gjøre det. Men jeg vil tippe at junior politikkanalytikere i skjæringsflaten mellom konsulentpraksis og oppdragsforskning vil ha vanskelig for det.

Det en så agnostisk holdning åpner for er selvsagt at politikk anerkjennes som mer politisk enn teknokratisk. Og i mange tilfeller tror jeg økonomer burde være åpne for at noen valg er politiske heller enn økonomiske.