#2348 – The Goodhart’s Law

ENGLISH

One of the many things I love about my work is the “intellectual” discussions which often, and freely, take place. Some time ago, one of these led to what is called the Goodhart’s Law. This law is phrased as follows:

When a measure becomes a target, it ceases to be a good measure.

Here I am not going to write about the discussion which led to this law; but, rather, another (more day-to-day, at least to me) situation which, I think, is related to this law.

You know it has been several years since I try to live healthier. I have been trying to eat healthier and exercising regularly (mostly gym, though, haha). Last year I even downloaded a nutrition app to help me monitor my daily food consumption. I also have, and use, another app that is linked to my gym to monitor my exercise and progress. Both apps, of course, come with data feature showing several different numbers representing my progress in several different areas (read: these are called “measures”).

It has been quite some time that I have “doubts” of this feature. Not that I doubt that the measures are wrong, but I feel like this feature is prone to be “abused” by people “gaming” it. All these measures are invented with good purpose in mind. In this case, to help measure one’s health (in terms of nutritions intake and exercise done). The problem occurs when people, somehow, forget about the “fundamental purpose” of these measures (i.e. what they are for), become a little too obsessed with the meeasures themselves, and, thus, they might end up “gaming” the system by focusing to “perform well” on these measures alone instead of trying to “do well” on the fundamental of what the measures are meant for.

This is a problem because more often than not these measures are invented because what we are trying to measure is something abstract or impossible to measure in itself, like “health”. These measures are used as “proxies” for it hence, by definition, do not capture its “entirety”. This would mean that by gaming the system, while would result in “performing well” by the measures’ standard, does not necessarily lead to achieving wellness on the fundamental.

This actually reminds me of a conversation I had a few years ago with a friend of mine, which I think is a good (real) example of this. He told me he knew a “work around” way to “score well” on a regular blood checkup (The regular blood test measuring your cholesterol level, etc). I was (quietly) very disturbed by this statement.

The point of taking a blood checkup is to measure one’s level of “health” based on several measures (like cholesterol level, etc). What is the point, then, if the participant is taking a “work around” to “appear healthy on the test”? In this case, the checkup would become useless and uninformative as it would most likely come up good anyway regardless of the actual health condition. Consequently, everyone involved actually just waste their time (and money). In other words, the Goodhart’s Law.

Back to one of the apps I mentioned above. Another feature in the app is a leaderboard competition between my gym-goers, where we are ranked, weekly, by the amount of moves or calories we have burned recorded by the app. Of course, the idea behind this is good as competition could instill extra motivation for people to exercise; especially competitive people like me, haha.

However, the fact that only one or two measures are used in the competition bothers me because I feel like people (read: me, lol 😆 ) are prone to eventually game it. For example, a good strategy to get ahead is by only logging exercises which require the most calories. The problem is, focusing only on these exercises, while good for my standing in the competition, might not actually be in-line with the main reason why I go to the gym. And so I have decided to ignore the competition feature of the app, haha.

***

My point of this post is not to say that these measures are useless. Quite the contrary, I believe that having these measures around are great! As long as we know how to use and interpret them (even better if we understand the reasoning behind why these measures are used), they can help us making optimal decisions, achieving many different things, evaluating abstract stuffs, etc. What I want to say is that we should not put our trust blindly only on them and, more importantly, to resist the temptation to game them! 😀

BAHASA INDONESIA

Satu dari banyak hal yang aku suka dari kantorku sekarang adalah banyaknya diskusi “intelek” yang bebas dan sering berlangsung. Beberapa waktu yang lalu, salah satunya melibatkan yang disebut dengan Hukum Goodhart. Berikut ini bunyi hukumnya:

When a measure becomes a target, it ceases to be a good measure.

Jika diterjemahkan ke bahasa Indonesia, kurang lebih berarti “Ketika sebuah pengukuran (measure) dijadikan target, pengukuran ini bukan lagi sebuah pengukuran yang baik“. Di posting ini aku tidak akan menulis mengenai diskusi di kantor yang berhubungan dengan hukum ini; melainkan situasi (sehari-hariku) lainnya yang, aku kira, cukup berhubungan dengannya juga.

Pada tahu kan beberapa tahun belakangan ini aku telah berupaya untuk hidup lebih sehat. Aku berusaha untuk makan lebih sehat dan berolahraga secara regular (sekarang-sekarang ini seringnya nge-gym sih, haha). Untuk menunjang itu, bahkan tahun lalu aku mengunduh sebuah app nutrisi untuk membantuku memonitor konsumsi makananku sehari-harinya. Juga, sekarang aku menggunakan app lain yang terhubung dengan gym-ku untuk memonitor aktivitas olahraga dan progress-ku di sana. Kedua app ini, tentu saja, memiliki fitur data dengan beberapa bilangan yang merepresentasikan progress-ku di beberapa bidang (baca: bilangan-bilangan ini lah yang disebut dengan “pengukuran” (measures)).

Sudah lumayan lama aku memiliki sedikit “keraguan” akan fitur ini. Bukan, bukannya aku ragu pengukurannya salah atau tidak tepat, tetapi aku merasa fitur ini kok rasanya rawan untuk “disalah-gunakan” dengan cara “dimainkan” oleh penggunanya. Semua pengukuran ini ditemukan dengan maksud yang baik. Dalam kasus ini, untuk membantu mengukur kesehatannya seseorang (dalam hal konsumsi nutrisi dan olahraga yang dilakukan). Masalah menjadi muncul ketika orang-orang lupa akan “tujuan mendasar” dari pengukuran-pengukuran ini (alias pengukurannya untuk apa), menjadi terlalu terobsesi dengan pengukuran-pengukurannya itu sendiri, dan, sebagai akibatnya, malah “memainkan” sistemnya dengan cara fokus untuk “mendapatkan nilai baik” dalam pengukuran-pengukuran ini saja tanpa memikirkan dan berupaya untuk “menjadi baik” dalam hal fundamental yang sebenarnya maunya diukur.

Ini adalah masalah karena di kebanyakan kasus, pengukuran-pengukuran ini ditemukan karena apa yang mau diukur itu abstrak atau sebenarnya tidak bisa diukur, seperti misalnya “kesehatan”. Jadilah pengukuran-pengukuran ini dipilih sebagai “proxies” (pendekatan/perwakilan) untuknya yang mana memang berarti mereka tidak menangkap dan merangkumnya “secara utuh”. Artinya dengan memainkan sistemnya, walaupun hasilnya memang bisa jadi nampak “baik” berdasarkan hasil pengukuran-pengukuran ini, bukan berarti kita juga dalam kondisi “baik” dalam hal mendasar yang sebenarnya mau diukur itu.

Ini mengingatkanku akan sebuah percakapanku beberapa tahun yang lalu dengan seorang temanku, yang mana menurutku adalah contoh (nyata) yang baik untuk menjelaskan maksudku di atas. Temanku ini berkata bahwa ia mengetahui “jalan pintas” agar hasil checkup darah reguler kita “bagus” (Maksudku adalah checkup darah reguler yang mengukur kadar kolesterol, dkk itu). Waktu itu aku langsung merasa terganggu dengan pernyataan ini.

Tujuan kita menjalankan checkup reguler itu kan untuk mengukur tingkat “kesehatan” kita berdasarkan beberapa pengukuran ya (seperti kadar kolesterol, dll). Lah trus apalah artinya dong kalau yang dites justru “mengambil jalan pintas” supaya “hasil tesnya bagus dan nampak sehat”? Dalam kasus ini, tesnya justru menjadi percuma kan karena hasilnya kemungkinan besar akan toh “bagus” bagaimana pun juga, tidak peduli bagaimana kondisi kesehatan kita yang sesungguhnya. Sebagai akibatnya, semua yang terlibat dalam tes ini telah membuang-buang waktu (dan uang) mereka. Hukum Goodhart.

Kembali ke app yang aku sebutkan di atas. Salah satu fitur di app gym-ku adalah kompetisi dengan leaderboard antara anggota gym-ku, dimana kami diberikan peringkat, setiap minggu, oleh app-nya berdasarkan banyaknya gerakan dan kalori yang dibakar. Tentu saja tujuan dari kompetisi ini baik karena kompetisi kan bisa menjadi salah satu pemicu semangat dan motivasi bagi sebagian orang; terutama yang kompetitif kayak aku, haha.

Namun, kondisi dimana hanya dua pengukuran saja yang digunakan di kompetisi ini sedikit mengusikku karena aku rasa orang-orang (baca: aku, haha 😆 ) pada akhirnya toh akan memainkannya juga. Misalnya, satu strategi baik untuk mendapatkan peringkat tinggi adalah dengan hanya memilih latihan/gerakan yang membakar paling banyak kalori. Masalahnya adalah, fokus pada latihan-latihan ini saja, walaupun baik untuk peringkatku di kompetisi ini, belum tentu sejalan dengan alasan utama mengapa aku pergi ke gym kan. Jadilah aku telah memutuskan untuk mengabaikan fitur kompetisi ini, haha.

***

Maksudku dengan tulisan ini bukan lah untuk menyebutkan bahwa pengukuran-pengukuran ini tidak berguna. Justru sebaliknya, pengukuran-pengukuran ini berguna banget! Selama kita tahu bagaimana untuk menggunakan dan menginterpretasikannya (lebih baik lagi jika kita memahami mengapa pengukuran-pengukuran ini digunakan dan dipilih), mereka bisa membantu kita membuat keputusan dengan optimal, mendapatkan berbagai pencapaian, mengevaluasi hal yang abstrak, dsb. Yang ini kutekankan adalah kita sebaiknya tidak mengikutinya dengan buta dan, yang terpenting, menahan godaan untuk memainkannya! 😀

2 Comments Add yours

  1. Yance says:

    iya juga yaa, dikasih alat ukur, malah diakal2in buat tujuan lain, bukan tujuan yang mendasarnya….

    1. zilko says:

      Betul, malah alat ukurnya yang diakal-akalin dan dimainin sehingga tampak “oke”, yang mana justru malah jadi menutupi apa yang sebenarnya mau diukur.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s