ANALISIS BUTIR SOAL DENGAN PROGRAM ITEMAN DAN ANATES

A. Pendahuluan
Micro Computer Adaptive Test (MicroCat) menyediakan program Item analisis (Iteman) versi 3.50A, yaitu program analisis butir soal dengan komputer, yang edisi kelima¬nya dipubli¬kasikan mulai tahun 1993. Program ini sangat sederhana, jika Anda mau men¬da¬lami sedikit saja, akan dapat menguasainya. Jika masih juga ada kesulitan, nara sumber dengan senang hati mau memberikan penjelasan kembali. Pekerjaan analisis butir soal merupakan salah satu jenis kegiatan guru/dosen yang sangat bermanfaat dalam menafsirkan hasil belajar peserta didik dan untuk mengetahui kualitas soal, tetapi sayangnya masih banyak guru/dosen belum dapat melakukannya.

B. Langkah-langkah kerja Program Iteman
Program ini hanya dapat menganalisis butir soal ragam pilihan ganda. Analisis butir soal dengan program ini relatif mudah, yang penting diperlukan ketelitian dalam memasukkan data (data entry), karena kesalahan memasukkan data akan berakibat tidak tepat hasil analisisnya. Langkah-langkah untuk memasukkan data (dengan file baru) adalah sebagai berikut.
1. Klik Star, pilih Program, pilih Accessories, pilih dan klik Notepad;
2. Simpan dengan klik file, pilih dan klik Save as, lalu tulis nama file data, misalnya : IPA-1 (jangan lupa, paling banyak 8 huruf/angka);
3. Pemasukan akan lebih cepat jika dilakukan oleh dua orang, seorang membaca jawaban siswa dan seorang menuliskan. Agar tidak keliru antara jawaban b dan d, maka pembacaannya: a untuk a, be untuk b, ce untuk c, del untuk d, dan e untuk e;
4. Jika dilakukan sendiri, letakkan jari tengah tangan kiri pada huruf A dan jari telunjuk pada huruf D; jari telunjuk tangan kanan pada huruf C dan jari tengah pada huruf B pada keyboard (papan ketik). Mata melihat jawaban peserta tes, hasilnya akan lebih cepat;
5. Agar data tidak hilang saat listrik mati, maka sebentar-sebentar disimpan dengan klik File dan klik Save; dan
6. Tampilan file data seperti terlihat pada halaman berikut.

Contoh: File Data

Jumlah soal : 35 butir
Jumlah option : 4 buah
Jumlah Testee : 30 orang
Nomor Testee : 3 angka (ditambah satu tempat kosong, menjadi 4 karakter)





35 O N 4
CACDABDACACDACADACADCDCCABACADBBABD
44444444444444444444444444444444444
YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
001 CACDOAOACOBCACAOBCOACDBCACOCDDBBOBO
002 CACDAADACACCACADACAACDCCABACADBBABD
003 CACDAADACACCADADACAACDCCABACCDBBABC
004 CACDCADACACCADACACADODCCADACDDBBABA
005 CACDAADACACCACADACAACDCCABACADBBABD
006 CACDAADACBAOBCAAACODCAAAABAOODBABAB
007 CACDAADACBCDACADACCDCDCCADACDDBBACD
008 DACCADDACBCBACAAACAACDCCABACBDBBDAD
009 CACDDADCACCAACBDACADCDCCABACADBBABB
010 CACDAADACACBACABACADCDCCABACDDBBABA
011 CACDAADACACCACADACADCDCCABACADBBABD
012 CACDAADACACDACADACAACDCCABACACBBABD
013 CADDAADACACCACADACADCDCCABACDDBBABD
014 CCADAADDACADDBACBBBDCDCAADACBDBBCBD
015 CABDAADACACDACADACADCDCCABACDDBBABD
016 CAADOADDABBDACADABBDBDCCCBACDBAACCB
017 CACDAADACACCACADACADCDCCABACADBBABD
018 CACDAADACACDACADACADCDCCABACADBBCAD
019 CACCBADACACCACACACADCDCOADACBDBBBCA
020 CAADAABDCBABDBADDAADBACCADACDCDABCD
021 CACCAADACACDACABACADCDCCABADDDBAABD
022 CACDAADACACCACBDACBDCDCCADADDDBBACB
023 COCDABDACOOOOBAOOOOOAOCBAOOCADBBDOD
024 CACDAADACACCACADACADCDCCABACADBBABD
025 CACDABDACOBBACAAACAABACAADACDCBCABD
026 CAABAADACDBBADDDAABCCAAAADACADBBDAB
027 CACDAADACACDACADACADCDCCADACADBBABD
028 CACDAADACACBACABACADODCCABACDABBABO
029 CACDAADACACDACADACADCDCCABACBDBBDCA
030 CACDBCDACABDABADDCADCDCCABACADBBABD
Gambar 1. Tampilan File Data Analisis Butir Soal dengan Iteman


C. Analisis Data
1. Buka Program Iteman, dengan klik Star, pilih Program, pilih dan klik Iteman.
2. Isi nama file data, pada Enter the name of the input file: D:\IPA-1.txt
lalu tekan enter.
3. Isikan nama file hasil, pada Enter the name of the output file: D:\IPA-1.has
lalu tekan enter.
4. Lalu muncul pertanyaan Do you want the scores written to a file? ( Y / N ).
maka tulislah Y dan tekan enter.
5. Isikan nama file skor, pada Enter the name of the score file: D:\IPA-1.skr
Lalu tekan enter, lalu enter terus sampai selesai.
6. Tampilannya seperti terlihat pada gambar berikut.

MicroCat (tm) Testing System
Copyright © 1982,1984, 1986, 1988 by Assessment Systems Corporation
Beta-Test version – Univ. of Pittsburgh
Item and Test Analysis Program -- ITEMAN (tm) Version 3.00

Enter the name of the input file: D:\IPA-1.txt
Enter the name of the output file: D:\IPA-1.has
Do you want the scores written to a file? ( Y / N ):Y
Enter the name of score file: D:\IPA-1.skr
Do you have a Key Exceptions File?: No
Do you want to write statistics to an external file?: No
** Item Analysis is Complete **

Gambar 2. Tampilan analisis butir soal dengan Iteman

D. Hasil Analisis Butir Soal
Buka hasil analisis pada program MsWord dengan cara:
1. klik Star, pilih Program, pilih dan klik Microsoft Word
2. klik File, klik Open, dan cari file hasil pada drive D, dengan Files of Type: All Files
3. Contoh file hasil analisis seperti pada halaman berikut.


MicroCAT (tm) Testing System Page 1
Copyright(c) 1982, 1984, 1986, 1988, 1993 by Assessment Systems Corporation
Item and Test Analysis Program -- ITEMAN (tm) Version 3.50

Item analysis for data from file D:\IPA-1.TXT
Date: 12-15-05 Time: 7:04 pm

******************** ANALYSIS SUMMARY INFORMATION ********************

Data (Input) File: D:\IPA-1.TXT
Analysis Output File: D:\IPA-1.HAS
Score Output File: D:\IPA-1.SKR
Exceptions File: NONE
Statistics Output File: NONE

Scale Definition Codes: DICHOT = Dichotomous MPOINT = Multipoint/Survey

Scale: 0
-------
Type of Scale DICHOT
N of Items 35
N of Examinees 30

***** CONFIGURATION INFORMATION *****

Type of Correlations: Point-Biserial
Correction for Spuriousness: NO
Ability Grouping: YES
Subgroup Analysis: NO
Express Endorsements As: PROPORTIONS
Score Group Interval Width: 1

Item Statistics Alternative Statistics
----------------------- -----------------------------------
Seq. Scale Prop. Disc. Point Prop. Endorsing Point
No. -Item Correct Index Biser. Alt. Total Low High Biser. Key
---- ----- ------- ------ ------ ----- ----- ---- ---- ------ ---

1 0-1 .97 .00 .05 A .00 .00 .00
B .00 .00 .00
C .97 1.00 1.00 .05 *
D .03 .00 .00 -.05
Other .00 .00 .00

2 0-2 .93 .25 .42 A .93 .75 1.00 .42 *
B .00 .00 .00
C .03 .13 .00 -.28
D .00 .00 .00
Other .03 .00 .00 -.31

6 0-6 .07 -.25 -.31 A .87 .75 1.00 .20 ?
B .07 .25 .00 -.31 *
CHECK THE KEY C .03 .00 .00 .11
B was specified, A works better D .03 .00 .00 -.05
Other .00 .00 .00

E. Menafsirkan Hasil Analisis Butir Soal
Beberapa tokoh evaluasi, yaitu: Sumadi Suryabrata, (1987); Dali S. Naga, (1992); Suharsimi Arikunto, (1993); dan Saifuddin Azwar, (1996); telah menetapkan suatu kriteria mutu soal, yang satu dengan lainnya relatif sama, yaitu seperti berikut.

Tabel 1. Kriteria Kualitas Butir Soal
Kriteria Indeks Klasifikasi
Prop Corect (Taraf Sukar Soal atau p) 0,000 - 0,250 Sukar
0,251 - 0,750 Sedang
0,751 - 1,000 Mudah
Point Biserial (Daya beda atau D) D  0,199 Sangat Rendah
0,200 - 0,299 Rendah
0,300 - 0,399 Sedang
D  0,400 Tinggi
Prop Endorsing Proporsi jawaban 0,000 - 0,010 Kurang
0,011 - 0,050 Cukup
0,051 - 1,000 Baik
Alpha (Reliabilitas soal) 0,000 - 0,400 Rendah
0,401 - 0,700 Sedang
0,701 - 1,000 Tinggi

Untuk memudahkan memilah-milah butir soal mana yang perlu direvisi atau didrop dianjurkan untuk menggunakan krteria seperti pada tabel berikut

Tabel 2. Kriteria Kualitas Soal untuk Kepentingan Pemilahan Butir

Kriteria Indeks Klasifikasi Penafsiran
Tingkat kesukaran
( p ) 0,000 - 0,099 Sangat Sukar Dibuang / perlu revisi total
0,100 - 0,299 Sukar Perlu direvisi
0,300 - 0,700 Sedang Baik
0,701 - 0,900 Mudah Perlu direvisi
0,901 - 1,000 Sangat Mudah Dibuang / perlu direvisi total
Daya beda ( D ) D  0,199 Sangat Rendah Dibuang / perlu direvisi total
0,200 - 0,299 Rendah Perlu direvisi
0,300 - 0,399 Sedang Sedikit atau tanpa revisi
D  0,400 Tinggi Bagus Sekali
Proporsi jawaban 0,000 - 0,010 Kurang Dibuang / perlu direvisi
0,011 - 0,050 Cukup Baik
0,051 - 1,000 Baik Baik sekali
Reliabilitas soal 0,000 - 0,400 Rendah Kurang baik
0,401 - 0,700 Sedang Cukup
0,701 - 1,000 Tinggi Baik
Dari hasil analisis butir soal di atas, dengan jumlah soal 35 butir dan sampel 30 orang, penafsiran terhadap beberapa soal tersebut antara lain seperti berikut.

Soal nomor 1, kunci jawabannya C, penafsirannya:
- Tingkat kesukaran butir soal (Prop.Corrrect) = 0,97 ; artinya butir soal ini ‘sangat mudah’ (p>0,90) karena 97 % dari peserta tes menjawab benar soal ini.
- Daya bedanya (Biserial) = 0,05 ; artinya ‘butir soal ini mempunyai daya beda yang ‘sangat rendah’ (D>0,20).
- Option (alternatif jawaban) A dan B tidak berfungsi sebagai pengecoh (distraktor), maka alternatif jawaban A dan B perlu diperbaiki. Sesuai kriteria pengecoh yang ‘baik’ jika dipilih oleh 0,011 - 0,050 ( 1,1 % - 5 %).

Soal nomor 2, kunci jawabannya A, penafsirannya:
- Tingkat kesukaran butir soal (Prop.Corrrect) ini = 0,93 ; artinya butir soal ini ‘sangat mudah’ (p>0,90) karena dari 93% peserta tes, menjawab benar soal ini.
- Daya bedanya (Biserial) = 0,42 ; artinya ‘butir soal ini mempunyai daya beda yang ‘tinggi’ ( D>0,40 ).
- Option (alternatif jawaban) B dan D belum berfungsi sebagai pengecoh (distraktor), karena tidak ada satu testee-pun yang memilihnya.

Soal nomor 6, kunci jawabannya B, penafsirannya:
- Analisis butir soal ini ada informasi ‘Check The Key, B was specified, A works better, artinya kunci jawaban A bekerja lebih baik daripada kunci jawaban yang telah ditentukan, yaitu B. Butir soal ini perlu dicek kembali, terbukti daya beda butir soal ini menunjukkan angka -0,31 (daya beda ‘sangat rendah’ karena D<0,20). Ini artinya, pada siswa pandai tidak dapat menjawab benar soal ini, tetapi siswa kurang pandai dapat menjawab benar (karena kebetulan saja). - Tingkat kesukaran butir soal ini = 0,07 ; artinya butir soal ini ‘sangat sukar’ (p>0,10) karena kurang dari 10% dari peserta tes menjawab benar soal ini.
- Option (alternatif jawaban) semua berfungsi sebagai pengecoh (distraktor), karena semua alternatif jawaban soal ini ada memilih.

E. Resume Hasil Analisis, Sebaran Skor dan Penentuan Nilai
There were 30 examinees in the data file. Scale Statistics


N of Items 35  Jumlah soal
N of Examinees 30  Jumlah peserta tes
Mean 26.700  Rerata skor
Variance 33.543
Std. Dev. 5.792  Standar Deviasi
Skew -0.689
Kurtosis -0.946
Minimum 15.000  Skor terendah
Maximum 33.000  Skor tertinggi
Median 29.000
Alpha 0.874  Reliabilitas soal
SEM 2.058
Mean P 0.763  Taraf sukar soal
Mean Item-Tot. 0.424
Mean Biserial 0.627  Daya beda soal
Max Score (Low) 23
N (Low Group) 8
Min Score (High) 32
N (High Group) 9


SCALE # 0 Score Distribution Table

Number Freq- Cum
Correct uency Freq PR PCT
------- ------- ------ ---- ----
. . . No examinees below this score . . .
14 0 0 1 0 |
15 1 1 3 3 +###
16 0 1 3 0 |
17 3 4 13 10 |##########
18 1 5 17 3 |###
19 2 7 23 7 |#######
20 0 7 23 0 +
21 0 7 23 0 |
22 0 7 23 0 |
23 1 8 27 3 |###
24 1 9 30 3 |###
25 1 10 33 3 +###
26 2 12 40 7 |#######
27 1 13 43 3 |###
28 1 14 47 3 |###
29 3 17 57 10 |##########
30 3 20 67 10 +##########
31 1 21 70 3 |###
32 5 26 87 17 |#################
33 4 30 99 13 |#############
34 0 30 99 0 |
35 0 30 99 0 +
|----+----+----+----+----+
5 10 15 20 25
Percentage of Examinees
Scores for examinees from file D:\IPA-1.TXT
001 19.00
002 32.00
003 29.00
004 26.00
005 32.00
006 19.00
007 29.00
008 25.00
009 27.00
010 30.00
011 33.00
012 32.00
013 31.00
014 18.00
015 32.00
016 17.00
017 33.00
018 32.00
019 24.00
020 15.00
021 29.00
022 26.00
023 17.00
024 33.00
025 23.00
026 17.00
027 33.00
028 28.00
029 30.00
030 30.00

Skor di atas kita ubah menjadi nilai skala 10 dengan program MsExcel















F. Mengoperasikan Program Anates
Program Anates merupakan software untuk analisis butir soal dengan menggunakan bahasa Indonesia yang dikembangkan oleh Drs. Karnoto, M.Pd. dan Yudi Wibisono, ST., nomor register Hak Cipta di dirjen HAKI: C00200400291-338. Tampilan halaman mukanya seperti berikut.

Keunggulan software ini sebagai program analisis butir soal daripada Program Iteman adalah dapat digunakan untuk analisis butir soal bentuk uraian, di samping untuk analisis soal bentuk pilihan ganda. Penggunaan bahasa Indonesia dalam program ini, juga merupa-kan salah satu sisi kemudahan dalam penggunaannya daripada program lain yang meng¬gu-na¬kan bahasa Inggris. Hasil analisis tentang skor yang diperoleh setiap testee juga dapat ditransfer ke MsExcel untuk dihitung nilainya, maka saat mendalami program ini agar sekaligus dapat mendalami aplikasi MsExcel. Jika demikian maka pemanfaatan Anates akan menjadi optimal.
Selanjutnya mari kita telusuri penggunaan program ini. Kita akan mulai mempelajari analisis soal bentuk pilihan ganda, dimulai dengan membuka program ini dan dari halaman muka klik Jalankan Anates Pilihan Ganda, lalu muncul tampilan seperti berikut.

Buat file data jika belum ada file yang pernah dibuat sebelumnya, yaitu dengan klik Buat File Baru, lalu muncul tampilan seperti berikut dan lakukan pengisian: Jumlah Subjek, Jumlah Butir Soal, dan Jumlah pilihan.

Lalu klik OK, dan muncul tampilan lembar file data seperti berikut.

Lalu tulis nama peserta tes atau jika tidak menulis nama subjek sudah ada nomor urut peserta; dan lanjutkan dengan menulis kunci jawaban dan jawaban setiap peserta terhadap setiap butir soal, lalu beri nama file dengan cara klik Kembali ke Menu Utama dan klik Simpan dan beri nama file data.

Setelah semua langkah ini dilalui, baru kita dapat melakukan analisis butir soal; dapat sekaligus dengan klik Olah Semua Otomatis atau satu per satu dengan klik setiap perintah yang terlihat pada menu utama seperti di halaman berikut.

Misalnya, suatu file data (fiktif) terdiri dari jawaban 5 orang siswa terhadap 6 butir soal dengan 4 pilihan jawaban, maka hasil analisisnya seperti berikut.


G. Manfaat Aplikasi Program Excel
Seyogyanya semua guru-dosen yang telah memungkinkan menggunakan perangkat komputer, dapat mengaplikasikan Program MsExcel untuk kepentingan pengo¬lahan angka dan nilai hasil belajar siswanya. Ironinya, terutama di sekolah menengah atau perguruan tinggi telah banyak punya komputer, tetapi para guru-dosennya banyak belum tertarik meman¬faatkan komputer. Penyebabnya, karena mereka belum pernah kenal karena belum ada pihak-pihak yang secara serius memperke¬nal¬kannya kepada mereka. Ini yang menjadikan mereka belum kenal dan memahami keunggulan program Excel ini. Jika mereka sudah sampai pada tahap mengenal dan punya motivasi tinggi maka akan bersemangat terus mendalaminya.
Berikut ditampilkan sekedar contoh lembar kerja program MsExcel atau disebut worksheet.

Gambar 1: Lembar kerja (Work Sheet) MsExcel.

Keunggulan MsExcel untuk mengolah angka banyak sekali, antara lain yang berkaitan dengan pengolahan nilai hasil belajar siswa adalah:
a. Penghitungan skor menjadi nilai, dengan cara membagi skor yang diperoleh siswa dengan skor maksimum lalu dikalikan 100 (untuk nilai puluhan);
b. Menghitung rerata nilai, misalnya nilai-nilai tugas, nilai-nilai uji blok (ulangan harian) dengan fungsi Average;
c. Menghitung nilai standar deviasi dengan fungsi STDEV;
d. Membuat peringkat nilai, yaitu dari nilai tertinggi ke rendah dengan klik Data, Sort, dan seterusnya.
e. Menghitung secara mudah dan cepat tentang frekuensi setiap nilai yang diperoleh siswa
f. Menghitung skor z setiap siswa yaitu membagi hasil pengurangan skor siswa dikurangi rerata dengan standar deviasi.
H. Berlatih Menggunakan Program Excel
1. Kenali dulu istilah: kursor, baris, kolom, sel, blok, drag, dan lain-lain. Jenis ikon, misalnya tanda  adalah untuk menjumlah secara otomatis; ikon fx adalah tempat berbagai rumus dapat dipilih, seperti berikut ini.


Gambar 2. Kotak dialog untuk berbagai fungsi.

2. Buat nomor urut secara otomatis. Caranya, buat angka 1 dan di bawah¬nya angka 2 masing-masing pada Cel A3 dan A4. Blok anka 1 dan 2 lalu tarik ke bawah sampai nomor urut ke berapa yang akan dibuat.

Gambar 3. Contoh untuk membuat nomor urut

3. Contoh berbagai jenis penghitungan angka lainnya, seperti:
a. menghitung jumlah, caranya: letakkan kursor pada cel tempat hasil penjumlahan, klik tanda icon , lalu sorot angka-angka yang akan dijumlahkan lalu tekan enter
b. Menghitung perkalian, lihat Gambar 4 di halaman berikut ini.

Gambar 4. Penghitungan perkalian
Pada Cel B4, terbaca jumlah guru yang gajinya Rp 1.500.000,00 ada 3 orang; pada Cel B6 terbaca jumlah guru yang gajinya Rp 1.000.000,00 ada 7 orang. Perkalian antara angka 3 (pada Cel B4) dengan angka 1.500.000,00 (pada Cel C4) selesai dihitung dengan rumus seperti tertulis pada Cel D4, yaitu =C4*D4 maka perkalian di bawahnya tinggal menarik saja dari hasil perkalian itu.

Menghitung skor hasil analisis Anates caranya sebagai berikut.
Copy skor siswa dari file hasil analisis Anates dan Paste di program Excel lalu klik Data, tex to colum, next, finish, tampilannya:

Selanjutnya kita hanya akan menggunakan kolom E, F, dan G, maka kolom lainnya dihapus, caranya: blok kolom yang akan dihapus, klik Edit, Delete. Lalu kita hitung skor pada kolom G menjadi nilai, caranya pada kolom H buat rumus =G4/5*100 (angka 5 adalah skor maksimum dan angka 100 jika menggunakan nilai skala 100). Selesailah peng¬hitungan nilai peserta tes nomor 1, dan untuk menghitung nilai peserta lainnya cukup letak¬kan kursor pada cell H4 sehingga kanan bawah berbentuk tanda + tipis lalu tarik ke bawah.

I. Daftar Pustaka
Azwar, Syaifuddin. 2001. Reliabilitas dan Validitas. Yogyakarta: Pustaka Pelajar.
Conner, Colin. 1995. Assessment and Testing in the Primary School (terjemahan). Semarang: IKIP Semarang Press.
Dali S. Naga. 1992. Pengantar Teori Sekor. Jakarta: Gunadarma.
Depdiknas. 2001. Penyusunan Butir Soal dan Instrumen Penilaian (Pedoman bagi Jabatan Fungsional Pengawas Sekolah dan Jabatan Fungsional Guru). Jakarta: Ditjen Dikdasmen.
Hamid Hasan, S dan Asmawi Zainul. 1991. Evaluasi Hasil Belajar. Jakarta: Depdikbud.
Ign Masidjo. 1995. Penilaian Pencapaian Hasil Belajar Siswa di Sekolah. Yogyakarta: Kanisius.
Nana Sudjana. 2001. Penilaian Hasil Proses Belajar Mengajar. Bandung: Remaja Rosdakarya.
Saifuddin Azwar. 1996. Tes Prestasi. Yogyakarta: Pustaka Pelajar.
Suharsimi Arikunto. 1993. Dasar-Dasar Evaluasi Pendidikan. Jakarta: Bumi Aksara.
Sumadi Suryabrata. 1987. Pengembangan tes hasil Belajar. Jakarta: Rajawali.
Thoha, M. Chabib. 2001. Teknik Evaluasi Pendidikan. Jakarta: PT. Raja Grafindo Persada.
Wilmar Tinambunan. 1988. Evaluation of Student Achievement. Jakarta: Ditjen Dikti.