Kami Mencoba Menulis Abstrak dengan ChatGPT: Hasilnya ‘Ngawur’!

SCICOMLAB.ORG – Kalian pasti sudah tahu kan soal ChatGPT, sejak pemberitaannya ramai kalau dia bisa nulis artikel ilmiah atau abstrak penelitian beredar luas, ekosistem akademia menjadi terbelah. Banyak yang skeptis sama dia, bahkan tak sedikit yang juluki ChatGPT sebagai upaya untuk membuat para akademisi jadi pemalas. Namun pendapat peneliti lain yang juga tak kalah keras, mereka sepakat kalau ChatGPT itu cocok jadi alat bantu untuk peneliti, biar kerjanya lebih efisien.

Kedua kubu yang berselisih pandang ini sebenarnya masih bersepakat jika, ChatGPT punya beberapa kekurangan. Tapi kalau sekedar untuk menulis teks atau memecahkan soal matematika atau pemrograman dasar mungkin saja bisa. Sudah banyak contohnya, kalian pun bisa mencobanya sekarang.

ChatGPT sendiri muncul 30 November tahun lalu, dengan menggunakan model bahasa besar berdasarkan jaringan saraf (Neural Network), model ini belajar dengan memproses sejumlah teks buatan manusia yang sudah ada (mereka bilang, data sampai 2021) dan dapat menghasilkan teks yang realitis dan “terdengar” cerdas berdasarkan permintaan kalian. OpenAI perusahaan yang membuat ChatGPT ini berlokasi di California yang saat ini masih gratis. Versi Premiumnya (ChatGPT Plus) sudah ditawarkan sih, dengan merogoh uang 20$/bulan.

Kami skeptis, tentu saja. Namun sejak peluncurannya, kami mendapati banyak sekali perbincangan di WAG (WhatsApp Group) yang isinya mulai Peneliti, Dosen dan Pustakawan yang gemar ngulik bibliometrik membahas detail. Kekurangan dan kelebihannnya. Namun begitu, sebagai Saintis (sebut saja kami begitu. Ceilahh) yang selalu Skeptis maka kami mencoba melakukan percobaan yang cukup gampang dilakukan.

Namun begitu, sikap kami juga dipengaruhi oleh sebuah artikel berita yang ditulis oleh Holly Else di Nature “Abstracts written by ChatGPT fool scientists”. Dalam liputannya, Else mengungkapkan bahwa peneliti tidak selalu membedakan mana abstrak yang asli dan mana hasil nyontek dari ChatGPT. Dalam sebuah studi baru, para peneliti menemukan bahwa ChatGPT dapat menulis abstrak makalah penelitian palsu yang begitu meyakinkan sehingga para ilmuwan tidak dapat membedakannya.

Menurut artikel Nature pada penelitian tersebut, para peneliti meminta ChatGPT untuk menulis 50 abstrak penelitian medis berdasarkan pilihan artikel yang diterbitkan dalam jurnal JAMA, The New England Journal of Medicine, The BMJ, The Lancet, dan Nature Medicine. Setelah itu, mereka menjalankannya melalui pendeteksi plagiarisme dan pendeteksi keluaran AI sebelum meminta sekelompok peneliti medis untuk melihat abstrak yang dihasilkan oleh chatbot.

Namun hingga kami menulis artikel ini, ChatGPT masih menjadi bahasan pro dan kontra, termasuk jika kami melihat bagaimana ChatGPT ini dibahas dengan kacamata etika publikasi ilmiah (termasuk medis). Lembaga seperti Committee on Publication Ethics (COPE) membahas khusus tentang isu tentang publikasi ilmiah dan AI, kalian bisa baca di website mereka di tulisan berjudul Artificial intelligence in the news. Polemik soal boleh gak ChatGPT masuk dalam coauthorship (deretan nama penulis) atau dalam kontributor. Masalah lain misalnya bagaimana penerbit jurnal ilmiah merespon penulis yang menulis dengan ChatGPT.


Menulis Abstrak Penelitian
Lalu kemudian, kami melakukan percobaan dengan meminta ChatGPT menuliskan abstrak pada Jurnal Administrasi Kesehatan Indonesia/Indonesia Journal of Health Administration. Jurnal dari Fakultas Kesehatan Masyarakat, Universitas Airlangga ini mempunyai ruang lingkup bukan sebagai jurnal medis, namun dari artikelnya mereka berfokus pada administrasi dan kebijakan kesehatan. Sehingga ruang lingkup ini lebih luas menggabungkan aspek pelayanan kesehatan juga memuat ragam metode penelitian baik kualitatif maupun kuantitatif.

Singkatnya kami meminta ChatGPT untuk membuatkan abstrak penelitian berbahasa Inggris dari artikel yang sudah ada sebelumnya (Vol. 10/2022), kami memilih 1 artikel dari riset asli (original research articles). Kami bertanya kepada ChatGPT dengan format:

Can you create an abstract from the article <Judul Artikel> in <Tautan Jurnal> with a structure "Background", "Aims", "Methods", "Results", "Conclusions," and "Keyword" ?

Pada percobaan pertama di artikel berjudul HUSBAND’S SUPPORT IN WIFE’S ANC IN EASTERN INDONESIA: DO REGIONAL DISPARITIES EXIST? kami mendapatkan hasil kerjaan ChatGPT seperti teks dan gambar dibawah ini.

Background: The availability and utilization of prenatal care (ANC) is crucial for maternal and child health outcomes, especially in developing countries. The husband's support in wife's ANC is an essential factor in ensuring the utilization of ANC services.

Aims: This study aimed to examine the husband's support in wife's ANC utilization in Eastern Indonesia and to identify regional disparities in this support.

Methods: A cross-sectional study was conducted in Eastern Indonesia, involving 1,200 married women of reproductive age. Data were collected through structured questionnaires and analyzed using descriptive and inferential statistics.

Results: The study found that 61.5% of the husbands in Eastern Indonesia supported their wives in utilizing ANC services. The level of support was found to vary significantly across the regions, with the highest support being in the Southeast region and the lowest in the Southwest region.

Conclusions: The study highlights the need for regional-specific interventions to improve husband's support in wife's ANC utilization in Eastern Indonesia. The findings suggest that efforts should be directed towards increasing awareness and promoting positive attitudes towards ANC services in regions with lower levels of husband's support.

Keywords: Prenatal care, Husband's support, Eastern Indonesia, Regional disparities.

Abstrak Ditulis oleh ChatGPT
Background: Previous research has found that husband support can increase the participation of the wife's antenatal care (ANC) to prevent an increase in maternal mortality. Meanwhile, in the eastern region, the effort to provide pregnant women's health services tends to be lower than in Indonesia's other areas.

Aims: The study analyzed regional disparities of husbands' support in wives' ANC in eastern Indonesia.

Methods: Secondary data from the 2017 Indonesian Demographic and Health Survey were used in the study. In eastern Indonesia, the analytic units were wives aged 15 to 49, married, and pregnant in the previous five years. The study analyzed 2,005 respondents as a sample. In addition to the husband's support, the study examined region (province), residence, age, education, occupation, wealth, and parity as the independent variable. In the final stage, the study used a binary logistic regression test.

Results: A husband in East Nusa Tenggara has 1.556 times the probability of a husband in Papua for a support wife's ANC (95% CI 1.082-2.237). Maluku husbands are 0.528 times less likely to support their wife's ANC than Papua husbands (95% CI 0.363-0.768). North Maluku husbands are 0.476 times less likely than Papua husbands to support their wife's ANC (95% CI 0.320-0.709). Meanwhile, there was no significant difference in the husband's support between West Papua and Papua.

Conclusion: Regional disparities of husband's support in wife's ANC existed in eastern Indonesia.

Keywords: husband's support,maternal health, antenatal care, family factors

Abstrak Ditulis oleh Author

Dari percobaan ini kami menemukan bahwa gaya penulisan ChatGPT lebih lugas namun dia menulis tidak memperhatikan GFA (Guideline for Authors) di Indonesian Journal of Health Administration (IJHA). Misalnya berapa karakter sih maksimal kata-kata yang boleh ditulis pada kolom abstrak? dia tidak tahu ini.

ChatGPT melakukan penulisan runtut dengan baik, namun pada metode (methods), dia punya keterbatasan berupa tidak menjelaskan bagaimana artikel dibuat menggunakan data apa saja. Namun yang lebih parah dan ngaco dia tukang ‘ngibul’ kalau artikel ini ditulis dengan survey cross-sectional dari 1200 responden wanita (yang sudah menikah). Kan ngaco! Padahal jelas-jelas dari artikel asli, kalau penelitian ini dari data sekunder. Terus data sekunder yang dianalisa sebesar 2.005 responden sebagai sampel.

Nah lho! Dari metode (methods) saja udah gak bener, nah kemudian kami tentu saja gak bisa mempercayai penulisan hasil (results). Kalau ada yang copast (Copy paste) gitu aja ya pasti ‘ngawur’.

Namun begitu, baca kesimpulan (conclusion) dan kata kunci (keyword) kami katakan cukup lugas daripada abstrak yang ditulis author. Dia jelasin secara ‘gamplang’ apa sih inti dari temuan penelitian ini. Namun ini tentu saja cuma bicara cara menulis. Sejak kami temukan kesalahan ChatGPT nulis metode ya tentu saja kami gak percaya sama dia. Cuma begini, kami hanya mencoba ini untuk satu artikel dan satu jurnal saja. Bisa saja dia makin pinter kalau makin sering dilatih. Hahah.

Ya begitulah mesin. ChatGPT sebenarnya bisa di regenerated response untuk kalian coba ulik untuk mendapatkan jawaban yang paling bagus. Cuma ya tetap saja mesin, banyak juga usaha untuk menciptakan alat bantu deteksi, tapi ternyata alat deteksi ini juga sama ngibulnya dengan ChatGPT. Dia juga kadang salah sasaran.

Sebenarnya kami masih ingin mengumpulkan banyak artikel dan kemudian kami ujicoba dengan ChatGPT, jadi kami ingin membuat sebuah riset untuk lihat bagaimana chatGPT dalam penulisan abstrak di jurnal-jurnal nasional (Indonesia), hanya saja ini pekerjaan besar sih. Kalau kalian pengen bantu kami ya ayo…:D

Kalau kalian ada komentar, komentar aja di kolom komentar ya! Syukur juga mau kolaborasi dengan kami.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout /  Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout /  Ubah )

Connecting to %s