Caranya adalah semua butir dipasangkan dua-dua, kemudian sekelompok orang diminta menentukan manakah butir-butir yang lebih baik.
Jumlah pasangan yang dapat disusun bisa dirumuskan sebagai berikut:
Jumlah pasangan yang dapat disusun bisa dirumuskan sebagai berikut:
n (n - 1)
-----------
2
Di mana n = banyaknya butir (objek/pilihan)
Adapun prosedur lengkap teknik penilaian butir dengan pair comparison adalah sebagai berikut:
1. Membuat pertanyaan sebanyak pasangan butir yang kemungkinan dapat disusun
Misalkan jika terdapat butir 1, 2, 3, dan 4, maka berdasarkan rumus di atas dapat disusun pertanyaan sebanyak enam buah sebagai berikut:
- Manakah yang lebih baik antara butir 1 dan butir 2?
- Manakah yang lebih baik antara butir 1 dan butir 3?
- Manakah yang lebih baik antara butir 1 dan butir 4?
- Manakah yang lebih baik antara butir 2 dan butir 3?
- Manakah yang lebih baik antara butir 2 dan butir 4?
- Manakah yang lebih baik antara butir 3 dan butir 4?
2. Pertanyaan diberikan kepada responden (sekelompok oran) untuk diisi (misalnya 120 orang)
3. Hasilnya dirangkum dalam matriks frekuensi, seperti tampak pada tabel berikut
4. Matriks frekuensi ditransformasi menjadi matriks proporsi seperti pada tabel berikut
5. Matriks proporsi ditransformasi menjadi matriks Z (lihat tabel Z)
6. Selanjutnya dari matriks Z dihitung jumlah menurut kolom, rata-rata, dan bobotnya
Jika akan ditentukan dua butir terbaik dari hasil perhitungan tersebut, maka yang terpilih adalah butir 4 dan 3 karena masing-masing memiliki bobot yang tertinggi yaitu 743 dan 403.
Sumber Rujukan: Djaali & Pudji Muljono. 2008. Pengukuran dalam Bidang Pendidikan. Jakarta: Grasindo.