Eerste hulp bij aanbesteden

Ik was niet verbaasd om op www.wiskundeforum.nl de volgende vraag aan te treffen met als titel: ‘hulp logaritme, rangordeparadox’. Ene (mij onbekende) Chris schrijft ‘ivm met het in kaart brengen van een nieuwe aanbesteding van een product dient er een formule gebruikt te worden, waarmee een score berekend kan worden.’
Dit stuk schrijft zichzelf, want ik hoef alleen maar mijn naamgenoot te citeren: ‘50 punten voor een prijs die 2 keer zo groot is dan de laagste prijs. De geboden prijzen worden vervolgens omgerekend met de formule: Score = 100 – 50 x log (P/LP) / log 2. In deze formule is P de geboden prijs en LP de laagste prijs die geboden is.’ Bent u daar nog?

Even adem halen, voor het aanbesteden hebben we dus te maken met onbegrijpelijke formules en paradoxen. Het is wel eens goed om daar wat dieper op in te gaan. Het voorbeeld dat op het wiskundeforum opdook is namelijk tekenend voor de praktijk. We nemen het dus met dank over: ‘De scores bij toepassing van de formule op de prijzen van de volgende casus zijn als volgt:

|Inschrijving|Prijs|Score|
|A|80|100|
|B|100|83,9|
|C|125|67,8|

Ingewijden herkennen hier meteen het artikel van Chen¹ waarin bovenstaande log formule en voorbeeld staan waar de wanhopige brievenschrijver zich geheel en al op baseert.

Zijn eerste vraag was hoe je met die onbegrijpelijke formule aan die scores komt. Gek genoeg rekent hij het zelf toch voor, maar in plaats van log(2) schrijft hij 2 log. En de hamvraag komt daarna: “maar hoe bereken je ‘2 log’ op je rekenmachine en in Excel?  Met andere woorden: hoe komt ‘4,845501 / 2 log = 16,096’ tot stand, en wat houdt ‘2 log’ in?’‘

Arie van het wiskundeforum geeft antwoord. Die heeft duidelijk begrip van wiskunde en slaat aan op 2 log versus log(2), wat geheel andere dingen zijn. Rekenregels voor de logaritmen komen langs, verwijzingen naar Wikipedia, uitleg over rekenmachines, formules in Excel, goede raad over log-notaties.

Terwijl dit zo doorkabbelt vergeet u wellicht dat we hier met een Europese aanbesteding te maken hebben. U weet wel: procedures die voorkomen dat je gewoon je schoolboeken regelt. Is het niet zorgelijk dat Arie, hoe goed bedoeld ook, Chris uitlegt hoe hij in Excel een formule voor een Europese aanbesteding moet intikken? Dat geeft niet het beste resultaat bij aanbestedingen lijkt me zo. Het is goed om als bestuurder te weten dat dit geen sine cure is, en dat je dit kennelijk ook niet kunt overlaten aan inkopers die alleen een klok/klepelverhaal gehoord hebben en hun heil moeten zoeken op internetfora om Chen’s formule in te kunnen tikken, laat staan te begrijpen.

Daarom een analyse van zijn vraag vanaf de zijkant. De bedragen die in het voorbeeld genoemd worden, zouden zomaar uurtarieven voor ICT-handjes kunnen zijn: 80, 100 en 125 euro per uur.

De scores die gegeven worden lopen af: de laagste prijs heeft de hoogste score en zo loopt dat naar beneden met de hoogste prijs. Dat gebeurt dus met een ingewikkelde formule. Je zou toch ook simpelweg kunnen stellen dat je prijsmodel, want daar hebben we het hier over, een score bevat die lineair afloopt met de prijs?  Een voorbeeld dat het doet is deze: 50xLP/P, oftewel 50 punten voor degene met 80 euro per uur, 40 punten voor die van 100 euro per uur, en 32 punten voor die van 125 euro per uur.  Kun je de andere 50 punten gebruiken voor een kwaliteitsscore en telt het samen op tot 100. Een kind kan de was doen want nu hebben we ook een score die netjes afloopt.

EMVI

Helaas is de werkelijkheid ingewikkelder, net als bij de schoolboeken die je niet zomaar kunt bestellen maar functioneel moet aanbesteden.  Op het moment dat je een prijsmodel maakt dat niet gunt op laagste prijs maar op economisch meest voordelige inschrijving (EMVI) ga je dus meerdere aspecten in een score meewegen om tot een objectief oordeel te komen voor gunning. Dat meewegen van meerdere aspecten zoals prijs, kwaliteit, levertijd kan rare effecten resorteren. Zonder nu op de details in te gaan kan het volgende gebeuren: op basis van eenvoudige EMVI-modellen waarin we gingen voor prijs, kwaliteit en/of levertijd zitten verwerkt, kan de rangordeparadox optreden, een term bedacht door Chen¹,².  Dat is een ingewikkeld verhaal, dus even volhouden.

Stel, de inschrijvingen zijn gedaan en de scores zijn bekend.  A heeft gewonnen, en B en C niet. Nu laat C het er niet bij zitten, en die spant een proces aan dat A niet mee zou mogen doen. C wint dat, en door het eenvoudige prijsmodel verwisselt de volgorde van A,B, C naar C, B.  Met andere woorden omdat A eruit valt, schuift C door naar de eerste plek en laat B achter zich.  Met de log-formule van Chen kun je in een gekozen EMVI-model narekenen dat dat soort omkeringen van de volgorde niet meer zal optreden.

Marktspreiding

De vraag van Chris, ‘wat houdt 2 log in’, is een uiterst relevante. In zijn inleiding gaf hij al aan dat er sprake was van een prijs die tweemaal zo hoog was. Inderdaad, als je deze formule interpreteert dan is het getal twee de verwachte marktspreiding. Chris heeft dat niet in de gaten, want hij gaat ervan uit dat deze formule gebruikt dient te worden. Maar dat is dus niet zo.

Als je dit scherp op de snede doet, dan onderzoek je wat de verwachte marktspreiding daadwerkelijk is. En alles boven die marktspreiding is dan te duur. Als je zomaar het getal twee neemt, dan versterk je het prijzenbeukereffect.  De kiloknaller die zich strategisch wil inkopen, komt met een irreëel lage prijs en drukt iedereen die een normale prijs stelt de markt uit.

Kennelijk was de marktspreiding bij strategisch inschrijven groter dan 2. Met andere woorden, door het kiezen van een reële marktspreiding kun je al veel beter sturen op je inkoop. In het voorbeeld van de uurtarieven voor ICT ligt het er maar helemaal aan wat voor kennis je uit de markt wilt betrekken.  Als het gaat om programmeurs dan is er een enorme spreiding in hun productiviteit. Die overstijgt een factor 2 met gemak. Het topsegment doet het veel beter en sneller. Dus de marktspreiding daarvan is hoger dan twee, wat tot een aangepaste log formule leidt.

In de forumdiscussie komen dit soort dingen helemaal niet aan bod, want de afdeling inkoop hapt al naar adem bij het in een spreadsheet krijgen van een logaritme.  De werkelijkheid is dat je met dit soort formules moet kunnen jongleren, precies moet snappen wat de nukken ervan zijn, en welke fysieke betekenis alle verschillende onderdelen van die formules hebben. Die formules gebruik je dan ook nog eens in combinatie met andere formules die scores voor kwaliteit en/of levertijd meewegen.  En als je dacht dat er een sluitende oplossing was waar iedereen mee uit de voeten kan, dan heb je het mis.  

Paradoxen

Chen geeft dat mooi aan in zijn stukken: er is namelijk nog een paradox.  Kenneth Arrow kreeg in 1972 de Nobelprijs voor Economie omdat hij had uitgevist dat er fundamentele problemen zijn met scoringsmethodieken die aan elementaire ‘eerlijkheidscriteria’ voldoen: die bestaan namelijk niet.  Dit heet ook wel Arrow’s paradox. Een gevolg van Arrow’s paradox is dan ook dat er problemen met scoringsmethodieken zullen ontstaan. Een daarvan is de al genoemde rangordeparadox. Die kwam helemaal niet aan bod op het wiskundeforum want daar was men koortsachtig bezig om überhaupt een scoringsmodel te bouwen. In het kort komt het hierop neer.

Stel, vier leveranciers schrijven in op een aanbesteding. De winnaar wordt voor de rechter gesleept door de derde partij. Die krijgt gelijk en de winnaar wordt gediskwalificeerd (bijvoorbeeld omdat deze niet voldeed aan de procedure en te laat inleverde). Dan kan een herberekening van de scores de volgorde veranderen als de scores afhangen van de inschrijvingen van de anderen, gecombineerd met absolute scores voor bijvoorbeeld kwaliteit. Lang verhaal kort: nummer drie kan daardoor nummer één worden. De rangorde verandert dus; dat is de rangordeparadox.  Dit is allemaal uitgebreider na te lezen in Chen’s stukken.

Samenvattend: Europees aanbesteden is een paradoxaal verhaal. Het is bedacht om marktwerking te stimuleren, maar door de wirwar van regels, de wiskundig niet triviale implicaties, complicerende rechtszaken en andere vormen van arbitrage, strategisch aanbieden door bijvoorbeeld irreële prijstellingen, naïeve prijsmodellen en ondermaatse aanbestedingsdocumenten, lijkt het meer een blok aan het been. De oorsponkelijke gedachte van aanbesteden is een goede. Nu nog zorgen dat die gedachte uitvoering krijgt.  De problemen zijn te chronisch om even via een wiskundeforum op te vragen.  Dat vergt diepere kennis en kunde van de problematiek.

Voor meer informatie over de log-formule en de rangordeparadox zie:

¹ Tsong Ho Chen, Wiskundige Eigenschappen van Gunningssystemen en hun Juridische Consequenties, Tijdschrift Aanbestedingsrecht, 2:51-61, 2005.

² Tsong Ho Chen, An Economic Approach to Public Procurement, Journal of Public Procurement, 8(3):407-430, 2008.

Nawoord

Dit artikel is eerder gepubliceerd in januari 2010 in het magazine Digitaal Bestuur.
Door een fout van de auteur is niet de juiste versie van dit artikel in Digitaal Bestuur gepubliceerd.  Naast een aantal tikfouten was vooral storend dat verwijzingen naar belangrijke bronnen ontbraken.
We danken de heer Chen voor het opmerken hiervan: het is zijn werk dat in Digitaal Bestuur onder de aandacht had moeten worden gebracht, maar dat was door deze fout jammerlijk mislukt. We hopen dat dat bij deze alsnog is rechtgezet.