Penilaian berbasis kinerja bukan merupakan konsep baru. Anda mungkin sudah pernah menjalani penilaian berbasis kinerja pada suatu waktu. Mungkin penilaian jenis ini yang paling pertama anda jalani adalah di masa anak-anak ketika anda dinilai untuk tingkatan lanjutan dari sebuah aktivitas olahraga atau musik. Atau mungkin pengalaman pertama anda adalah ketika kemampuan anda dinilai untuk mengemudikan sebuah mobil. Pada masing-masing penilaian ini anda harus menunjukkan kepada penguji dan diamati melakukan tugas yang diberikan. Tidak akan pernah terjadi ada orang yang ingin menguji keahlian hanya dengan menggunakan ujian tertulis.
Miller (1990) mengusulkan sebuah kerangka dasar untuk penilaian klinis yang bertingkat dalam empat tingkatan:
tahu
tahu bagaimana
menunjukkan bagaimana
melakukan
Kerangka dasar yang sama bisa diterapkan pada penilaian keahlian manapun. Mari kita ambil contoh keahlian mengemudi dan mematuhi aturan-aturan lalu lintas. Tes tertulis bisa menilai apakah seseorang tahu aturan sebenarnya, misalnya, lampu merah tanda berhenti. Seseorang mungkin mampu menjelaskan proses penginjakan pedal rem secara perlahan untuk menghentikan sebuah kendaraan ketika lampu merah menyala – tahu bagaimana. Akan tetapi, selama tes langsung di jalanan seseorang benar-benar harus menunjukkan kemampuan untuk membawa kendaraan secara mulus dan berhenti sampai pada lampu merah – menunjukkan bagaimana. Polisi (penguji) memantau kepatuhan terhadap aturan-aturan lalu lintas, memeriksa apakah seorang pengemudi benar-benar berhenti pada lampu merah – melakukan. Seperti yang disadari oleh setiap pengemudi baru, mengetahui apa yang harus dilakukan dan benar-benar melakukannya selama tes di jalanan adalah dua hal yang berbeda.
Seperti dengan pengendaraan sebuah mobil. Kinerja seorang dokter harus diukur dengan menggunakan tes berbasis kinerja. Agar dapat melakukan praktek secara kompeten, para dokter memerlukan kecakapan dalam beberapa keahlian berbeda. Ide pelaksanaan tes berbasis kinerja untuk menilai berbagai keahlian ini tampaknya merupakan sebuah tugas yang cukup sulit. Olehnya itu, selama bertahun-tahun evaluasi mahasiswa kedokteran difokuskan pada penilaian pengetahuan dengan menggunakan ujian tertulis yang mudah dilakukan, mencakup kandungan luas dan memiliki keandalan yang telah terbukti.
Ujian lisan
Ujian lisan yang lazim tetap menjadi pedoman bagi para dokter di beberapa negara. Ujian lisan bisa menjadi sarana untuk menilai pengetahuan mahasiswa dan terkadang kinerjanya dalam sebuah konteks klinis. Setelah menilai pasien sebenarnya, mahasiswa yang biasanya tidak diawasi ditanya beberapa pertanyaan tentang pasien tersebut. Jika mahasiswa tidak diawasi, ujian ini tidak memenuhi kriteria “menunjukkan bagaimana” untuk menjadikannya sebagai sebuah ujian berbasis kinerja. Lebih lanjut, pasien berbeda untuk masing-masing peserta ujian, pengambilan sampel terbatas, dan keterpercayaan rendah adalah beberapa kekurangan utama dari tipe ujian ini (Petrusa 2002). Karena kekurangan-kekurangan ini, ujian lisan tidak lagi digunakan sebagai penilaian sertifikasi oleh banyak badan keahlian di Amerika Serikat dan Canada.
Penilaian in-training
Penilaian keahlian dalam setting dimana keahlian-keahlian itu dipelajari sangat menarik dan tentunya tampak memiliki keabsahan yang lebih tinggi dibanding model ujian manapun. Akan tetapi, masalah-masalah dalam evaluasi in-training cukup banyak, seperti: kurangnya standardisasi, pengamatan kinerja yang terbatas dan pengambilan sampel keahlian yang terbatas, semua ini merupakan isu-isu yang dipertimbangkan (lihat bab 36 Penilaian berbasis kerja). Meskipun evaluasi-evaluasi ini penting untuk penilaian formatif, namun tidak memiliki keterpercayaan dan keabsahan untuk digunakan sebagai evaluasi sumatif tingkat tinggi.
Ujian klinis terstruktur objektif
Kelebihan utama selanjutnya menggunakan pasien sebenarnya untuk menilai mahasiswa adalah dengan menggunakan pasien standar dalam pertemuan klinis yang terstimulasi. Seseorang bisa dilatih untuk berperan sebagai seorang pasien, dengan memberikan riwayat yang konsisten, gaya komunikasi dan temuan fisik (lihat Bab 8. Mengajar dalam pusat keahlian klinis). Harden & Gleeson (1979) memperkenalkan gagasan ujian klinis terstruktur objektif (OSCE). Dalam ujian ini para mahasiswa dites pada beberapa “stasiun” yang berdurasi 5 menit secara bergiliran, dimana mereka diberikan skenario klinis tertentu dan harus menunjukkan keahlian ujian klinis tertentu. Ciri utama dari OSCE adalah bahwa masing-masing mahasiswa mengalami tes yang sama dan diberi nilai dengan menggunakan skema skoring standar. OSCE merupakan salah satu dari ujian berbasis-kinerja pertama yang harus digunakan dalam penilaian kompetensi dokter dan sekarang ini dianggap sebagai prototipe penilaian berbasis kinerja.
Dari waktu ke waktu, OSCE telah disesuaikan untuk menilai berbagai keahlian: keahlian pemeriksaan fisik; interpretasi radiograf, EKG dan hasil laboratorium yang terkait dengan pasien; keahlian komunikasi; keahlian teknis dan keahlian mengajar. Penggunaan model alat kelamin, rektal dan payudara, simulator suara jantung dan simulator kardiovaskular yang lebih kompleks telah mengembangkan keahlian yang bisa diuji. Keahlian bedah, seperti eksisi kista sebasea dan insisi dan drainase abses, telah dimasukkan dalam penilaian berbasis-kinerja untuk bedah (Friedlich dkk. 2002). Dengan tergantung pada kompleksitas keahlian yang akan diuji, lama peserta berada di setiap stasiun bisa berbeda-beda antara 5 sampai 30 menit. Sehingga, format dan isi penilaian berbasis-kinerja multi-stasiun bisa berbeda-beda untuk memenuhi kebutuhan kelompok-kelompok yang berbeda.
Belum banyak yang menyepakati bahwa ujian gaya OSCE bisa menjadi metode penilaian yang lebih absah untuk keahlian-keahlian klinis dibanding dengan ujian lisan atau tulisan. Dengan memberikan pelatihan kepada mereka yang terlibat dalam pelaksanaan tes, keterpercayaan OSCE, dalam hal representasi pasien standar, kesepakatan antar-penilai, keterpercayaan ujian dan standardisasi lintas berbagai tempat tes, telah terbukti dapat diterima.
Keterpercayaan lebih lanjut bisa ditingkatkan dengan menambah jumlah stasiun dan peserta (Petrusa 2002). Beberapa orang akan menyarankan bahwa sekurang-kurangnya 20 stasiun diperlukan untuk mendapatkan keterpercayaan terkecil (Shumway & Harden 2003). Akan tetapi, pada ujian tingkat tinggi di Canada, dengan jumlah kandidat yang besar, jumlah stasiun telah dikurangi dari 20 menjadi 12 tanpa pengurangan keterpercayaan tes yang signifikan (D Blackmore, komunikasi pribadi, 2004).
Kelayakan penilaian berbasis kinerja tipe OSCE harus dipertimbangkan. OSCE dengan jumlah stasiun 25 selama 8 jam bisa memberikan keterpercayaan dan keabsahan yang sangat baik, tetapi ini tidak realistis bagi kebanyakan universitas. Dalam pengalaman kami, 10–21 stasiun kelihatannya tampaknya sudah cukup untuk pemeriksaan sekolah kedokteran lokal. Lama setiap stasiun adalah 8 menit dengan 2 menit untuk umpan-balik dan 1 menit untuk berpindah ke stasiun selanjutnya.
Di Dundee, banyaknya stasiun (25-35) dengan durasi 4 sampai 5 menit sudah menjadi ketentuan. Sehingga kebanyakan ujian memerlukan waktu sekitar 100-120 menit per kandidat. Beberapa pemeriksaan tingkat tinggi mungkin sedikit lebih lama.
Implementasi ujian berbasis kinerja
Ketika keputusan telah dibuat untuk menggunakan ujian berbasis-kinerja, waktu dan upaya diperlukan untuk merencanakan, membuat dan mengimplementasikan pemeriksaan multistasiun. Jika ini merupakan ujian tipe-OSCE pertama di institusi anda, kunjungi atau lakukan komunikasi dengan orang-orang yang telah melakukan ujian serupa, ini tentu akan bermanfaat. Bagian berikut akan menjelaskan secara garis besar tahap-tahap yang diperlukan untuk mengorganisir ujian. Contoh yang diberikan adalah dari OSCE: akan tetapi prinsip-prinsip sama bisa diterapkan pada tes berbasis kinerja manapun. Tabel 35.1 memberikan sebuah checklist perencanaan ISCE yang mungkin bermanfaat bagi mereka yang merencanakan OSCE mereka yang pertama. Masing-masing dari komponen checklist ini akan dipertimbangkan sebagai berikut.
Isi ujian – apa yang ingin anda nilai?
Cetak-biru ujian
Sebelum membuat stasiun-stasiun untuk ujian, anda perlu mengetahui keahlian-keahlian apa yang akan dinilai. Yakni, ujian yang akan anda buat harus mencerminkan sasaran-sasaran pelatihan dari program pendidikan. Salah satu cara untuk memastikan ini adalah dengan membuat sebuah cetak-biru atau kerangka dasar untuk ujian. Idealnya ini harus dibuat oleh sekelompok orang yang sudah terbiasa dengan tujuan-tujuan pelatihan. Untuk OSCE mahasiswa sarjana kedokteran umum, salah satu pendekatan yang bermanfaat adalah mempertimbangkan keahlian-keahlian yang harus dikuasai untuk tingkat pelatihan mereka seperti pengambilan riwayat, keahlian pemeriksaan fisik, penatalaksanaan pasien, konseling, keahlian komunikasi dan keahlian melakukan prosedur.
Bagian-bagian pokok praktek spesifik selanjutnya harus disebutkan, seperti bagian penyakit dalam, bedah, psikiatri, obstetri, pediatri, kedokteran keluarga dan kedokteran darurat. Putuskan berdasarkan jumlah stasiun yang diperlukan untuk masing-masing keahlian dan bagian isi serta perencanaan. Setiap stasiun akan mencakup sekurang-kurangnya satu keahlian dan satu bagian praktek (Tabel 35.2).
Cara membuat kasus/skenario
Yang harus membuat kasus/skenario adalah ahli yang memiliki pengetahuan tentang peserta tes yang harus diuji dan tingkat keahlian mereka yang diperlukan. Para pembuat kasus/skenario harus memiliki keahlian khusus dan bagian praktek yang akan diuji dan diminta untuk mendasarkan kasus yang mereka buat pada pasien sebenarnya yang telah pernah mereka temukan. Disamping menambahkan keautentikan ujian, penggunaan kasus sebenarnya dapat meminimalisir kesalahan dan beberapa kelalaian dalam membuat kasus-kasus untuk ujian. Para pembuat kasus/skenario diminta untuk memberikan komponen-komponen berikut bagi setiap kasus:
1.Menentukan tujuan sebuah stasiun
Sebutkan keahlian dan bidang yang akan diuji. Misalnya: Keahlian – pemeriksaan fisik. Bidang – bagian penyakit dalam/kardiologi.
Tujuan dari stasiun ini adalah untuk menilai kemampuan para kandidat dalam menyelesaikan sebuah pemeriksaan fisik pasien yang mengalami gagal jantung kongestif.
2.Instruksi-instruksi kandidat
Instruksi-instruksi yang diberikan kepada peserta harus jelas dan singkat. Upayakan selalu meminta rekan anda untuk menginterpretasi instruksi-instruksi yang anda berikan untuk memastikan bahwa instruksi-instruksi tersebut benar-benar jelas. Pastikan tugas yang disuruhkan bisa diselesaikan dalam jumlah waktu yang telah disediakan.
Lakukan pemeriksaan fisik terfokus pada seorang pasien yang suspek gagal jantung kongestif. Anda punya waktu 8 menit untuk melakukannya.
3.Checklist skoring
Checklist harus lengkap dan mencakup komponen-komponen utama dari keahlian yang sedang dinilai. Akan tetapi, checklist yang mendalam tidak diperlukan. Tabel 35.3 merupakan sebuah contoh checklist sederhana untuk penilaian pemeriksaan fisik. Jika dianggap sesuai, item-item checklist bisa diberi bobot untuk mencerminkan lebih pentingnya sebuah item dibanding item lainnya.
4.Instruksi pasien standar
Instruksi-instruksi ini harus cukup rinci untuk menjamin standardisasi pada semua kandidat dan lintas lebih dari satu pasien standar dan tipe pakaian yang harus dikenakan. Berikan semua data yang relevan termasuk presentasi keluhan dan riwayat penyakit yang saat ini diderita, riwayat pengobatan di masa lalu, obat, riwayat keluarga dan riwayat sosial. Riwayat penyakit yang sedang diderita saat ini akan memerlukan rincian seperti kapan nyeri dada mulai terjadi, lokasinya, kualitas, keparahan, faktor-faktor pemburuk dan pemulih dan seterusnya. Juga perlu untuk membakukan berapa banyak informasi yang akan diberikan pasien terhadap pertanyaan-pertanyaan terbuka. Terakhir, setiap pertanyaan khusus yang akan ditanyakan oleh pasien standar harus dibuatkan garis besarnya, termasuk instruksi-instruksi seperti kapan dalam skenario pertanyaan harus ditanyakan.
5.Instruksi untuk perancangan format stasiun
Buatkan daftar semua peralatan yang digunakan untuk stasiun. Daftar sederhana tentang alat-alat yang diperlukan bisa mencakup semua yang diperlukan untuk stasiun keahlian pemeriksaan fisik. Akan tetapi, gambaran rinci tentang bagaimana peralatan harus diadakan kepada masing-masing kandidat diperlukan untuk stasiun-stasiun dimana model, peralatan teknis dan simulator-simulator digunakan. Semua kandidat harus diberikan peralatan yang sama, dengan cara yang sama, selama ujian berlangsung.
Idealnya, kasus/skenario harus direview dan difinalisasi oleh sebuah komite pembuat kasus. Kenyataannya seringkali adalah bahwa satu atau dua orang melakukan hampir semua penulisan. Untuk para penulis baru, sebuah contoh kasus sebelumnya bisa membantu; kebanyakan yang tidak memiliki pengalaman sebelumnya terhadap ujian berbasis kinerja dengan menggunakan simulasi-simulasi klinis gagal untuk memahami jumlah rincian yang diperlukan untuk menjamin standardisasi.
Apabila kasus/skenario sudah ditulis, mintalah kepada seorang rekan untuk meninjau penerapannya pada stasiun. Ini akan menunjukkan kesulitan-kesulitan yang ada pada instruksi-instruksi peserta dan mengidentifikasi revisi-revisi yang diperlukan dalam item-item checklist. Ini juga memastikan bahwa lama di stasiun sudah cocok dan apakah informasi yang diberikan kepada pasien standar sudah cukup. Lima sampai sepuluh menit yang dihabiskan dengan seorang rekan yang menanyakan, “Apa yang akan anda lakukan berdasarkan instruksi-instruksi kandidat ini?” akan menghemat waktu bagi kandidat, pasien standar dan penguji selanjutnya.
Memberi bobot checklist dan skala rating
Kebanyakan checklist memerlukan penguji untuk mengindikasikan apakah sebuah item telah dilaksanakan secara memuaskan. Salah satu metode untuk menunjukkan item-item yang termasuk lebih penting adalah dengan memasukkan pemberian bobot. Sebagai contoh, kebanyakan item akan diberikan 1 nilai, tetapi dengan memberikan oksigen kepada pasien hipoksia bisa diberi angka 5. Dengan demikian berkontribusi bagi nilai akhir yang lebih banyak.
Skala rating Likert sangat bermanfaat untuk keahlian-keahlian seperti komunikasi dimana sebuah rating biner bisa mencerminkan rentang keahlian yang sedang ditunjukkan oleh berbagai kandidat. Tabel 35.4 memberikan sebuah contoh checklist komunikasi. Perhitungan nilai akhir akan memerlukan sebuah keputusan tentang pemberian bobot checklist komunikasi. Dalam institusi kami ini dimasukkan pada semua pengambilan riwayat dan stasiun-stasiun konseling dan mewakili 20% dari nilai. Pada ujian lainnya, checklist keahlian komunikasi bisa mewakili hingga sampai 50% dari nilai bagi sebuah stasiun.
Perekrutan dan pelatihan pasien standardisasi
Pasien standar dilatih untuk memerankan skenario klinis tertentu dengan cara yang terpercaya dan konsisten. Mereka bisa berupa relawan atau orang yang digaji. Meskipun relawan bisa sering direkrut dari ujian OSCE kecil, namun akses terhadap sebuah program yang merekrut dan melatih pasien standar bisa sangat bermanfaat untuk ujian-ujian skala lebih besar. Banyak institsi juga memiliki pelatih yang mereview kasus dengan pasien standar dan membantu mereka mempraktekkan peranan mereka sampai standardisasi telah dicapai. Idealnya, seorang dokter akan mengamati pasien standar menunjukkan skenario mereka sebelum ujian dilakukan. Pelatihan untuk orang-orang ini bisa memakan waktu antara 30 menit sampai 15 jam tergantung pada kerumitan kasus.
Membayar pasien standar tidak memungkinkan institusi untuk meminta kehadiran reguler dan standar kinerja yang tinggi. Upah yang diberikan biasanya sekitar $10 sampai $15 per jam di Amerika Serikat (Adamo 2003). Jangan lupa bahwa selama ujian pasien-pasien standar mungkin memerlukan sesekali istirahat, khususnya pada stasiun yang menuntut aktivitas fisik.
Perekrutan dan pelatihan penguji
Penguji bisa berupa dokter fakultas atau peserta pelatihan senior, tergantung pada ujian. Pasien-pasien standar atau pengamat terlatih telah digunakan untuk menyelesaikan checklist dan skala rating global (Martin dkk., 1996). Dengan menggunakan penguji dokter, ada beberapa kelebihan yang bisa didapat: keabsahan meningkat karena anggota profesi menguji kandidat; dokter bisa digunakan untuk setting standar dengan menggunakan metode kelompok dasar termodifikasi, dan bisa juga memberikan umpan-balik cepat selama ujian praktek. Kekurangnanya antara lain kesulitan dengan perekrutan pada beberapa institusi dan biaya yang dikeluarkan jika penguji dibayar.
Pelatihan penguji biasanya terdiri dari pengenalan singkat tentang tujuan ujian dan review dasar tentang pengisian checklist, skala rating global dan pemberian umpan-balik. Dokter telah ditentukan stasiunnya masing-masing. Pelatihan lebih ekstensif yang spesifik kasus bisa bermanfaat, tetapi tidak realistis, pada banyak rumah sakit. Jika pengamat terlatih, seperti pasien standar, digunakan maka lebih banyak pelatihan yang diperlukan. Perekrutan penguji harus dilakukan beberapa pekan atau bulan sebelum ujian berlangsung. Orientasi paling baik diselesaikan tepat sebelum ujian untuk memastikan kehadiran semua penguji.
Setting standar: lulus atau gagal?
Tidak ada kesepakatan tentang metode mana yang harus digunakan untuk setting standar, atau memutuskan nilai lulus/gagal, pada ujian manapun, termasuk OSCE. Kebanyakan yang setuju bahwa setting standar harus dirujuk ke kriteria untuk memastikan agar kandidat memiliki tingkat kompetensi berterima minimum. Biasanya skor persentase dalam ujian disetujui oleh sekelompok penguji sebagai skor yang mencerminkan level kompetensi minimal yang diperlukan (lihat Bab 32, setting standar).
Jika penguji dokter digunakan dalam OSCE, maka metode kelompok dasar termodifikasi bisa digunakan untuk menentukan nilai lulus. Pada akhir dari masing-masing pertemuan penguji diminta untuk mengisi skala rating global dengan tidak tergantung pada checklist. Penguji ditanya, “Apakah kandidat memenuhi kebutuhan pasien?” Skala rating mencakup “Tidak memuaskan” (rendah, buruk, standar) atau “Memuaskan” (standar, baik, sangat baik).
Skor-skor checklist untuk semua kandidat yang dinilai sebagai standar (Tidak memuaskan dan Memuaskan) dijumlahkan, dan nilai rata-ratanya menjadi skor penggal untuk lulus stasiun tersebut. Sehingga skor lulus/gagal adalah rata-rata dari kinerja standar yang telah diidentifikasi beberapa penguji. Kami telah menggunakan metode ini sedikitnya 60 kandidat dan tampak memberikan hasil yang dapat dipertanggungjawabkan. Risiko dengan jumlah kandidat yang sedikit adalah bahwa sangat sedikit yang akan diidentifikasi sebagai kandidat standar dan nilai lulus akan ditentukan secara kurang meyakinkan. Cusimano (1996) telah mereview secara rinci topik setting standar dalam ujian berbasis kinerja.
Pelaksanaan ujian: logistik
Ujian bisa dilaksanakan di pusat-pusat tes atau klinik rawat jalan selama malam hari dan akhir pekan. Pada akhir pekan, peralatan dasar seperti meja ujian dan manset tekanan darah tersedia dan dalam rumah sakit pengajaran ruang biasanya bebas biaya. Penting agar instruksi rinci untuk persiapan stasiun diberikan untuk masing-masing stasiun agar dapat memastikan standardisasi lintas tempat. Sebuah peta fasilitas yang sedang digunakan, termasuk lokasi stasiun spesifik, juga bermanfaat untuk perencanaan. Tanda panah di lantai atau di dinding bisa membantu kandidat dan staf dalam melakukan rotasi dari stasiun ke stasiun.
Persyaratan ruangan
Jumlah kandidat dan ruangan yang tersedia akan menentukan berapa banyak gelombang tes (masing-masing gelombang mengandung ujian penuh) dan administrasi-administrasi (berapa kali gelombang tes dilakukan) yang akan anda perlukan. Sebagai contoh, kita memiliki 65 mahasiswa tetapi hanya 3 gelombang, masing-masing memiliki 10 stasiun. Dengan demikian kita memberikan ujian secara simultan dalam 3 gelombang (30 mahasiswa), dan melakukannya dua kali (60 mahasiswa). Lima mahasiswa lainnya diakomodasi di “stasiun istirahat” diantara dua gelombang tes. Gambar 35.1 menunjukkan bagaimana 12 mahasiswa bisa diakomodasi dalam sebuah gelombang yang terdiri dari 10 stasiun. Untuk memastikan keamanan ujian, mahasiswa dalam administrasi ujian pertama harus ditahan sampai gelombang kedua memulai tes.
Disamping ruangan ujian untuk masing-masing stasiun, ruangan orientasi diperlukan untuk peserta ujian dan penguji. Ruangan-ruangan lain mungkin diperlukan untuk mendaftarkan staff dan menyediakan konsumsi.
Memberi tanda perpindahan dari stasiun ke stasiun
Selama orientasi mahasiswa, mereka mendapatkan instruksi tentang bagaimana berpindah dari satu stasiun ke stasiun selanjutnya, dan dengan demikian sebuah bel akan memberi tanda waktu masuk ke dalam stasiun dan bel lainnya menunjukkan waktu keluar dari stasiun tersebut. Selama ujian praktek kami menyediakan sebuah bel sesekali untuk memberi tanda bermulanya waktu untuk umpan-balik selama 2 menit dari penguji. Ketika bel tanda akhir berbunyi, kandidat memiliki waktu 1 menit untuk berpindah ke stasiun selanjutnya dan membaca instruksi-instruksi kandidat yang ditempelkan di pintu. Bel selanjutnya memberi tanda masuk ke stasiun berikutnya (Gbr. 35.2).
Hari ujian
Pada hari ujian staf diperlukan untuk mendaftar kandidat, mengarahkan mereka ke stasiun, memberi waktu ujian, menunjukkan peralihan stasiun dengan menggunakan bel dan membantu pemasangan dan pembongkaran stasiun. Masing-masing stasiun harus memiliki jumlah stasiun dan instruksi-instruksi kandidat dipasang pada pintu. Pasien standar, penguji, dan kandidat harus dicocokkan dengan stasiun-stasiun yang sesuai. Penguji dan pasien standar harus berada dalam ruangan ujian 30 menit sebelum dimulainya ujian untuk mereview checklist dan skala rating. Hari terakhir menjelang pelaksanaan ujian disarankan untuk membantu pasien standar agar mengetahui peranan mereka dalam ujian.
Pengumpulan hasil
Jika checklist tercetak digunakan maka harus disebarkan di masing-masing stasiun dan diambil kembali pada akhir ujian. Komputer memiliki potensi untuk menggantikan lembar-lembaran ini dan memberikan umpan-balik otomatis langsung kepada masing-masing kandidat serta memberikan data kelompok kepada pengolah data. Schmidts (2000) menemukan bahwa penguji hanya memerlukan 15 menit pelatihan untuk menggunakan alat-alat ini yang memiliki potensi untuk secara signifikan meningkatkan efisiensi dalam hal penilaian ujian yang memiliki banyak stasiun.
Anggaran dan staf khusus
Pelaksanaan OSCE terkadang memerlukan banyak sumber daya. Meskipun beberapa institusi memiliki pusat-pusat ujian yang terpisah, namun rumah sakit – rumah sakit pengajaran sering menyediakan ruangan klinis secara gratis untuk ujian yang dilakukan di malam hari dan memiliki banyak stasiun. Peralatan yang diperlukan juga sering tersedia dalam ruangan klinis rumah sakit.
Pasien-pasien standar mungkin harus dibayar. Jika institusi anda memiliki pusat pasien standar untuk tujuan pengajaran maka individu yang sama sering bisa digunakan selama ujian. Pada situasi seperti ini, biaya bisa disediakan oleh universitas untuk mendukung pengadaan pasien standar. Memiliki panitia full-time untuk program ini dan seorang pelatih untuk pasien standar paling penting karena pengajar dokter yang sibuk tidak mungkin mampu menjalankan peran tersebut.
Pemasukan data dan analisis berbagai checklist untuk berbagai stasiun akan memerlukan dukungan administratif.
Review ujian
Apabila OSCE telah dilaksanakan dengan sukses, luangkan waktu untuk mereview proses dan buat rekomendasi-rekomendasi untuk perbaikan pada ujian selanjutnya. seringkali logistik bisa ditingkatkan. Umpan balik kandidat dan pemeriksa harus dikumpulkan dengan kuisioner setelah selesainya ujian dan direview oleh dokter yang bertugas. Stasiun-stasiun bisa dimodifikasi tergantung pada komentar-komentar yang diterima. Review skor untuk masing-masing stasiun dan nilai lulus/gagal; identifikasi stasiun-stasiun yang terlalu sulit atau terlalu mudah dan pertimbangkan untuk melakukan modifikasi. Dengan praktek, proses pelaksanaan ujian-ujian ini akan menjadi lebih rutin dan lebih rapi.
Sepuluh mutiara OSCE
Ketika OSCE dilakukan untuk pertama kalinya, apa yang bisa keliru akan menjadi keliru. Berikan beberapa contoh pelajaran yang idpelajari selama pengalaman kami dalam melakukan OSCE.
Buat semua stasiun memiliki durasi yang sama. Semua kandidat harus dirotasi pada waktu yang sama sehingga salah satu stasiun tidak bisa lebih lama beberapa menit dibanding lainnya.
Stasiun-stasiun yang digabungkan atau dikaitkan memerlukan pemikiran sebelumnya. Sebagai contoh, pada sebuah OSCE dengan stasiun-stasiun yang berdurasi 5 menit, stasiun 8 merupakan tempat pertemuan dengan pasien dan stasiun 9 memberikan sebuah radiograf berdasarkan pertemuan pasien tersebut. Dengan demikian tidak ada kandidat yang memulai OSCE pada stasiun 9. Permulaan yang mengejutkan diperlukan. Salah seorang kandidat memulai di stasiun 8 5 menit sebelum memulai ujian utama. Pada awal ujian utama kandidat kedua selanjutnya bisa memulai pada stasiun 8 ketika yang pertama telah berpindah ke stasiun 9. Kandidat dengan awal mengejutkan akan menyelesaikan OSCE 5 menit sebelum yang lainnya.
Sediakan pasien standar cadangan dan penguji cadangan untuk ujian karena segala sesuatunya tidak dapat diprediksi.
Sediakan peralatan cadangan, seperti boks pandang alternatif untuk sinar-X, baterai ekstra untuk alat, checklist ekstra, dan lain-lain.
Staf harus tersedia selama ujian untuk menjaga keamanan ujian dan membantu kandidat “mencari” stasiun selanjutnya. kandidat yang gugup sering memerlukan panduan untuk beberapa rotasi pertama.
Jika ada kandidat yang terlambat, berikan label “kandidat terlambat” ke masing-masing ruang kosong saat ujian berlangsung. Ini menghindari kebingungan karena kandidat lain bisa melewati stasiun, dengan berpindah ke ruang selanjutnya yang dikosongkan oleh kandidat terdahulu.
Ingatkan kandidat untuk tetap berada dalam ruangan sampai bel berbunyi, walaupun mereka telah menyelesaikan soal di stasiun tersebut. Ini mencegah mereka berkeliaran di luar ruangan. Demikian juga, beritahu kepada pasien standar untuk selalu taat pada peranannya karena kandidat sering istirahat, hanya untuk melanjutkan dan mendapatkan item checklist tambahan.
Jaga keamanan ujian. Jika anda sedang memberikan ujian dua kali untuk mengakomodasi semua kandidat, pastikan kelompok pertama jauh dari kelompok kedua yang sedang menunggu untuk memulai gelombang kedua.
Pengatur waktu memiliki posisi yang sangat penting. Berhati-hatilah dalam memilih orang ini. Pastikan belu bisa didengar dari semua lokasi dalam ruangan yang tertutup.
Jika rotasi terganggu dan membingungkan, hentikan ujian sejenak, atasi masalahnya dan kemudian lanjutkan. Jika seorang kandidat telah kehilangan salah satu stasiun, biarkan ujian berjalan dan beri mereka waktu untuk masuk ke stasiun yang tidak didapat pada akhir ujian.
Ringkasan
Ujian berbasis kinerja telah menjadi sebuah harapan untuk penilaian kompetensi dokter. Seperti disebutkan oleh Miller (1990), dokter harus menunjukkan atau menampilkan keahlian mereka, serta memberikan bukti bahwa mereka memiliki dasar pengetahuan kedokteran yang memadai. Ujian gaya OSCE menjadi sebuah sarana yang absah, terpercaya dan layak untuk menilai berbagai keahlian yang diperlukan dokter untuk melakukan praktek secara kompeten; metode ini telah menjadi prototipe ujian berbasis kinerja untuk menilai keahlian-keahlian yang diperlukan dokter.
Logistik pembuatan dan pelaksanaan OSCE skala besar sangat penting. Perencanaan dan dukungan yang memadai untuk ujian penting untuk memastikan tugas-tugas berikut diselesaikan dengan baik:
pembuatan cetak-biru ujian
pembuatan kasus/skenario dengan checklist dan skala rating
perekrutan dan pelatihan penguji
perekrutan dan pelatihan pasien standar
perencanaan ruangan dan kebutuhan alat
pengidentifikasian persyaratan anggaran
persiapan untuk keadaan darurat terakhir.
0 comments:
Post a Comment