Ukuran Sampel dan Ketidakpastian: Mengapa 80% dari 10 Percobaan Belum Cukup

Dua orang melaporkan hasil yang tampak identik. Orang pertama berkata, “Dari 10 percobaan, 8 berhasil.” Orang kedua berkata, “Dari 1.000 percobaan, 800 berhasil.” Keduanya menyebut 80%.

Apakah dua laporan itu sama kuatnya? Tidak. Persentase menyembunyikan satu informasi penting: berapa banyak percobaan di baliknya. Delapan dari sepuluh bisa terjadi hanya karena kebetulan. Delapan ratus dari seribu sangat sulit terjadi karena kebetulan semata jika peluang sebenarnya hanya 50%, percobaannya saling bebas, dan seluruh hasil dicatat.

Artikel ini memberi cara sederhana untuk mengukur perbedaan itu, yaitu dengan melihat seberapa lebar ketidakpastian di sekitar sebuah persentase. Cara ini berguna untuk menilai klaim apa pun yang berbentuk “sekian persen berhasil”, termasuk testimoni, laporan akurasi, dan angka yang diklaim dari hasil “live”.

Semua contoh memakai angka buatan untuk belajar. Artikel ini tidak menilai permainan, penyedia, atau situs tertentu, dan bukan ajakan bertaruh.

Setiap laporan “persen berhasil” sebenarnya memuat tiga angka. Pastikan ketiganya terlihat.

• Jumlah keberhasilan (k). Berapa kali kejadian yang dihitung benar-benar terjadi.
• Jumlah percobaan (n). Berapa kali kejadian itu diamati, termasuk semua yang gagal.
• Persentase (k ÷ n). Hasil bagi keduanya. Inilah satu-satunya angka yang biasanya ditampilkan.

Persentase tanpa n tidak dapat dinilai. Persentase tanpa definisi “berhasil” juga tidak dapat dinilai. Karena itu tanyakan dua hal: apa yang dihitung sebagai berhasil, dan berapa semua percobaan yang diamati, bukan hanya yang dipilih untuk ditampilkan.

Contoh: “akurasi 80%” tidak berarti apa-apa sebelum jelas apa yang diprediksi, kapan prediksinya dicatat, dan berapa prediksi yang dibuat seluruhnya.

Ambil contoh yang bisa dihitung ulang: melempar koin yang adil sebanyak 10 kali. Peluang kepala setiap lemparan 50%.

Peluang mendapat 8 kepala atau lebih dalam 10 lemparan adalah 56 dari 1.024 kemungkinan, atau sekitar 5,5%. Itu sekitar 1 dari 18 percobaan. Kejadian seperti itu tidak langka.

Jika 100 orang masing-masing melempar koin adil 10 kali, rata-rata sekitar 5 orang akan melaporkan “80% kepala atau lebih”, padahal koinnya biasa. Orang yang beruntung itulah yang paling mungkin menceritakan hasilnya.

Sekarang ukurannya diperbesar. Peluang mendapat 80 kepala atau lebih dalam 100 lemparan hanya sekitar 0,00000006%, atau kira-kira 1 dari 1,8 miliar. Untuk 800 kepala dalam 1.000 lemparan, hasilnya berjarak sekitar 19 simpangan baku dari rata-rata, sehingga praktis tidak mungkin terjadi pada koin adil.

Persentasenya sama, yaitu 80%. Yang berubah hanyalah jumlah percobaan. Semakin sedikit percobaan, semakin besar peran kebetulan.

Untuk menyatakan seberapa pasti sebuah persentase, dipakai interval kepercayaan. Salah satu cara yang baik untuk proporsi ya/tidak adalah interval Wilson. Dasar interval proporsi dibahas dalam NIST Engineering Statistics Handbook.

Hasil untuk beberapa contoh, dibulatkan ke satu desimal:

Perhatikan bahwa 8 dari 10 memberi rentang yang sangat lebar, sedangkan 800 dari 1.000 memberi rentang yang sempit. Perhatikan juga 0 dari 10 dan 10 dari 10: intervalnya tetap lebar. Satu hasil sempurna dari sedikit percobaan bukan bukti bahwa kejadiannya pasti.

Coba sendiri dengan kalkulator berikut. Isi jumlah keberhasilan dan jumlah percobaan, lalu lihat rentangnya.

Kalkulator berjalan di browser Anda, tidak menyimpan dan tidak mengirim data. Hasilnya adalah perhitungan dari angka yang diisi, bukan prediksi.

Interval 95% paling mudah salah dibaca. Ada tiga hal yang perlu dibedakan.

• Yang dimaksud. Jika prosedur yang sama dipakai pada sangat banyak sampel baru, sekitar 95% interval yang dihasilkan akan memuat nilai sebenarnya. Tingkat 95% menggambarkan prosedurnya.
• Bukan rentang hasil berikutnya. Interval 71,1–86,7% untuk 80 dari 100 tidak berarti 95% hasil berikutnya akan jatuh di rentang itu. Hasil tunggal yang berikutnya bisa lebih beragam.
• Bukan jaminan. Selalu ada sekitar 5% kemungkinan prosedurnya meleset.

Lebar interval kira-kira berbanding terbalik dengan akar jumlah percobaan, bila proporsinya serupa, tidak dekat 0% atau 100%, dan jumlah percobaannya cukup besar. Dari tabel sebelumnya: lebar 45,3 poin pada 10 percobaan, 15,5 poin pada 100, dan 5,0 poin pada 1.000. Pada contoh ini, setiap kali jumlah percobaan dikalikan 10, lebar menyempit sekitar tiga kali lipat. Untuk membuat rentang kira-kira separuh lebar, dibutuhkan sekitar empat kali lebih banyak data. Dekat 0% atau 100% polanya berbeda.

Itu sebabnya klaim dengan sedikit percobaan tidak bisa “diperbaiki” hanya dengan menambah satu dua percobaan lagi.

Rumus interval hanya valid jika beberapa syarat terpenuhi. Pelanggarannya lebih sering merusak kesimpulan daripada ukuran sampel itu sendiri.

• Peluang berhasil yang sama. Setiap percobaan dianggap punya peluang berhasil yang sama dan stabil. Jika peluangnya berubah dari satu percobaan ke percobaan lain, satu persentase dan satu interval tidak lagi mewakilinya.
• Percobaan saling bebas. Hasil satu percobaan tidak memengaruhi yang lain. Hasil yang saling berkaitan membuat interval tampak lebih sempit daripada seharusnya.
• Sampel tidak dipilih-pilih. Jika hanya hasil yang baik yang ditampilkan, persentasenya sudah miring sebelum dihitung. Menghentikan pencatatan tepat saat angkanya bagus termasuk pemilihan.
• Definisi ditetapkan sebelum melihat hasil. Kriteria berhasil yang diubah setelah hasil keluar membuat angka apa pun bisa tampak meyakinkan.
• Semua percobaan dihitung. Kegagalan, percobaan yang dibatalkan, dan data yang “tidak relevan” harus dijelaskan.

Contoh: pada Bagian 11 artikel Mitos Slot, lima tangkapan layar kemenangan beredar dari 10.000 orang yang bermain. Lima tangkapan layar itu tidak mengatakan apa pun tentang peluang, karena 9.995 hasil lain tidak terlihat. Itu masalah sampel yang dipilih, dan interval seberapa pun sempit tidak memperbaikinya.

Interval proporsi hanya berlaku untuk kejadian ya/tidak: menang atau tidak, tepat atau meleset. Pembayaran yang besarnya bervariasi bukan kejadian ya/tidak.

Bayangkan dua model buatan dari Panduan Slot. Pada model A, 80% putaran menerima 1,2 unit. Pada model B, 8% putaran menerima 12 unit. Persentase putaran yang dibayar sangat berbeda, tetapi keduanya sama-sama RTP 96%.

Artinya, “seberapa sering dibayar” tidak cukup untuk mengetahui RTP, dan interval untuk persentase menang bukan interval untuk RTP. Menaksir RTP dari hasil yang teramati membutuhkan rata-rata pembayaran beserta sebaran besarnya, dan sebarannya jauh lebih lebar ketika ada pembayaran yang sangat besar tetapi jarang. Konsep RTP dan hasil aktual dibahas di Panduan Slot, dan hubungannya dengan keunggulan penyelenggara di House Edge.

Aturan praktisnya: sebelum memakai interval, pastikan yang dihitung memang kejadian ya/tidak.

Bayangkan sebuah klaim: “Metode saya 80% akurat. Dari 10 tebakan, 8 tepat.” Mari periksa dengan alat yang sudah kita punya, tanpa menilai metodenya.

Interval Wilson 95% untuk 8 dari 10 adalah 49,0–94,3%. Pembanding paling sederhana untuk tebakan dua pilihan yang sama kemungkinannya adalah 50%. Angka 50% berada di dalam interval itu, tepatnya hanya sedikit di atas batas bawahnya. Jadi 8 dari 10 tidak cukup untuk membedakan metode tersebut dari menebak acak.

Jika hasilnya 80 dari 100, intervalnya 71,1–86,7%. Angka 50% berada di luar. Bukti jauh lebih kuat, tetapi tetap ada pertanyaan lain: apakah semua tebakan dihitung, apakah dicatat sebelum hasil diketahui, dan apakah hasil yang lalu mengatakan sesuatu tentang yang berikutnya.

Untuk klaim yang berkaitan dengan harga, pembandingnya bukan selalu 50%. Pada odds desimal 1,90, probabilitas tersiratnya sekitar 52,6%, sebelum memperhitungkan hal lain. Dasarnya dibahas di Panduan Sportsbook. Titik impas itu lebih tinggi dari 50% karena margin ikut dibayar.

Pelajarannya: persentase yang tinggi dari sedikit percobaan adalah awal pertanyaan, bukan kesimpulan. Hitungan nilai harapan dan jumlah data yang dibutuhkan untuk membuktikan sebuah keunggulan dibuka di Value Bet dan Nilai Harapan.

Latihan tanpa taruhan

Seseorang menyebut “60% berhasil”. Hitung intervalnya untuk dua kemungkinan jumlah percobaan: 6 dari 10, dan 60 dari 100. Apakah masing-masing membedakan dari 50%?

Lima hal yang perlu diingat

1. Persentase tanpa jumlah percobaan tidak dapat dinilai.
2. Sampel kecil sering menghasilkan angka bagus karena kebetulan.
3. Interval Wilson 95% mengukur ketidakpastian, bukan rentang hasil berikutnya.
4. Untuk proporsi yang serupa dan tidak dekat 0% atau 100%, empat kali data kira-kira membuat rentang separuh lebar.
5. Interval hanya berarti jika percobaannya bebas, peluang berhasilnya sama pada setiap percobaan, sampelnya tidak dipilih-pilih, dan yang dihitung memang kejadian ya/tidak.

Aturan hukum berbeda di setiap negara. Di Indonesia, perjudian termasuk yang dilakukan secara daring dilarang oleh hukum. Artikel ini ditulis untuk membaca angka secara kritis, bukan sebagai ajakan bertaruh.