TEKNIK EVALUASI

A.    Evaluasi Pengujian Dari Sistem Interaktif  Secara Fungsional

Ada 3 tujuan utama dari evaluasi :

1.      Melihat seberapa jauh sistem berfungsi.

Desain sistem memungkinkan user melakukan tugas yang dibutuhkan dengan lebih mudah. Ini tidak hanya membuat fungsionalitas yang sesuai ada di sistem, tetapi membuat mudah dicapai oleh user, user dapat melakukan aksi untuk melaksanakan tugas.

2.      Melihat efek interface bagi pengguna.

Ini mencakup pertimbangan aspek dari kemudahan sistem dipelajari, usability dan perilaku user. Penting juga untuk mengidentifikasikan area desain yang berlebih dari user, dengan menggunakan sejumlah informasi yang berlebih.

3.      Mengidentifikasi problem khusus yang terjadi pada sistem

Ketika menggunakan konteks yang diinginkan menyebabkan hasil yang tidak diinginkan, atau terjadi kekacauan diantara user. Ini tentunya berhubungan dengan usability dan fungsionalitas dari desain (bergantung pada sebab masalah). Tujuan ini merupakan aspek negative dari desain.

B.     Pengambilan Evaluasi

Ada 2 jenis utama dari evaluasi, yaitu yang dilaksanakan pada kondisi laboratorium dan yang dilaksanakan pada lingkungan kerja atau ‘lapangan’.

1.      Pada Kondisi Percobaan (Laboratory)

Penggunaan pengujian sistem ini pada ruang percobaan mempunyai beberapa kondisi diantaranya:

a.       Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik, cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada lokasi kerja sebenarnya.

2. Operator bebas dari gangguan yang menghambat pekerjaan.
3. Beberapa situasi hanya dapat dilakukan di lab., seperti sistem yang akan digunakan ditempatkan pada lokasi yang berbahaya atau lokasi yang terpencil, contoh stasiun ruang angkasa.
4. Dapat memanipulasi situasi untuk memecahkan masalah dan melihat sedikit penggunaan prosedur atau membandingkan beberapa alternatif perancangan dengan situasi yang sebenarnya.
5. Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja sebenarnya dan terdapat beberapa orang yang tidak bisa bekerja pada kondisi di laboratorium.

2.      Pada Kondisi Lokasi Kerja Sebenarnya (Lapangan)

Penggunaan pengujian system ini pada lokasi kerja sebenarnya mempunyai beberapa kondisi diantaranya :

a.       Tingkat gangguan yang melebihi ambang batas, tingkat-tingkat pergerakan yang besar dan interupsi yang tetap, seperti panggilan telepon menyebabkan observasi ini sulit dilakukan.

2. Situasi yang lebih “terbuka” antara system dan pengguna, dimana kondisi ini tidak ditemukan pada kondisi di laboratorium
3. Observasi pada lokasi kerja sebenarnya lebih baik dilakukan daripada di laboratorium dan gangguan-gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili situasi sebenarnya dan digunakan untuk proses penyimpanan dan pengambilan selama tugas.

3.      Participatory Design

a.       Adalah suatu pemikiran yang melibatkan keseluruhan alur perancangan dan tidak hanya proses evaluasi saja.

b.      Perancangan ini dilakukan pada ruang kerja yang melibatkan pengguna yang tidak hanya digunakan sebagai subyek percobaan tetapi juga sebagai anggota yang aktif dalam team perancangan.

c.       Argumennya adalah user dianggap ahli dalam konteks dan perancangan hanya dapat efektif pada konteks tersebut jika para ahli ini memberikan kontribusi yang aktif ke perancangan.

 Tiga karakteristik Teknik Evaluasi :

1.      Meningkatkan lingkungan kerja dan tugas. Ini membuat perancangan dan evaluasi berorientasi kerja atau konteks dibanding berorientasi system.

2.      Mempunyai sifat kerja sama (kolaborasi), yakni pengguna dilibatkan sebagai anggota team dan mempunyai kontribusi pada setiap tingkat perancangan.

3.      Mempunyai pendekatan iterative, perancangan adalah suatu subyek untuk evaluasi dan revisi pada setiap tingkatan.

C.    Pendekatan Design Evaluasi

Ada beberapa pendekatan evaluasi yang dilakukan seperti :

1.       Evaluating design

2.      Evaluating implementations

3.       Query techniques

4.      Physiological methods

D.    Pendekatan Untuk Mengimplementasikan Evaluasi

1.      Cognitive Walkthrough

Suatu usaha yang dilakukan untuk mengenalkan teori psikologi ke dalam bentuk informal dan subyektif atau dengan kata lain mempunyai tujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan yang diberikan ke pengguna untuk mempelajari beberapa tugas yang diberikan. Pendekatan ini dikemukakan oleh Polson, dkk. Walkthrough dilaksanakan oleh perancang atau seorang ahli dalam psikologi kognitif. Ahli bekerja melalui perancangan tugas tertentu, tahap demi tahap, mengidentifikasi masalah yang berpotensi terhadap criteria psikologi. Kemudian dibandingkan ke proses dimana perancang software akan bekerja dengan koding pada kondisi yang berbeda (menggunakan set data yang berbeda atau kondisi yang salah, misalnya) untuk mengevaluasi unjuk kerja setiap software. Dalam pendekatan ini terdapat beberapa issue yang timbul seperti :

a.       Pengaruh apa  yang timbul setelah tugas ini diberikan ke pengguna?

b.      Proses cognitive apa yang tersedia?

c.       Masalah pembelajaran apa yang seharusnya timbul?

Analisis difokuskan pada tujuan user dan pengetahuan. Cognitive walkthrough harus menunjukkan jika dan bagaimana interface merujuk user untuk membangkitkan tujuan yang benar dari pelaksanaan tugas yang diinginkan, dan memilih aksi yang diperlukan untuk memenuhi setiap tujuan. Untuk melakukan Cognitive Walkthrough harus mempunyai informasi yang dibutuhkan :

1.      Deskripsi dari suatu interface yang dibutuhkan itu sendiri

2.      Deskripsi dari tugas termasuk usaha yang benar untuk melakukannya dan struktur tujuan untuk mendukungnya

Dengan Informasi ini maka Evaluator dapat Melakukan langkah  dari walkthrough :

a.       Pilih Tugas

b.      Deskripsikan Tujuan awal dari user

c.       Lakukan kegiatan/ aksi yang tepat

d.      Analisa proses keputusan untuk setiap kegiatan.

E.     Heuristic Evaluation

Diusulkan oleh Nielsen dan Molich, hampir sama dengan Cognitive Walkthrough tetapi sedikit terstruktur dan sedikit terarah. Pada pendekatan ini, sekumpulan criteria usability  atau heuristic diidentifikasi dan perancangan dilaksanakan misalnya dimana criteria dilanggar. Dalam system ini terdapat beberapa kriteria :

1.      Perilaku Sistem dapat dipastikan.

2.      Perilaku Sistem konsisten.

3.      Feedback tersedia.

4.      Kemampuan memori user tidak melebihi batas.

5.      Dialog merupakan orientasi tugas.

Tujuan dari Heuristic Evaluation adalah untuk memperbaiki perancangan secara efektif. Evaluator melakukan evaluasi melalui kinerja dari serangkaian tugas dengan perancangan dan dilihat kesesuaiannya dengan kriteria setiap tingkatan. Jika ada kesalahan terdeteksi maka perancangan dapat ditinjau ulang untuk memperbaiki masalah ini sebelum tingkat  implementasi.

F.     Review Based Evaluation

Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata. Beberapa diantaranya dari domain khusus ke umum, tetapi kebanyakan berhubungan dengan isu generic dan teraplikasi pada berbagai situasi.

G.    Model Based Evaluation

Pendekatan terakhir untuk mengevaluasi perancangan dengan mengkombinasi spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama.

Contoh GOMS model, keystroke level model dan design rationale.