최근 computer scientist들과 전직 health reporter가 6개월간의 조사를 통해 매우 충격적인 사실을 발견했다. 수천 개의 가짜 학술 논문들이 특히 암(cancer)과 Covid-19 research 분야에서 발견되고 있으며, 이는 실제 과학 연구를 방해하고 있다는 것이다.

Why thousands of fake scientific papers are flooding academic journals

AI가 작성한 가짜 논문의 문제점

여기서 “가짜"란 AI에 의해 작성되었거나 AI의 도움을 많이 받아 작성된 논문을 의미한다. 학계에서는 더 많은 논문 발표가 더 많은 funding으로 이어지기 때문에, journal editor들의 검토를 통과할 수 있는 논문을 대량 생산하려는 암묵적인 incentive가 존재한다. 이는 “publish or perish” 현상으로 이어진다.

이러한 현상의 결과는 매우 심각할 수 있다:

• 실제 연구를 수행하는 과학자들을 오도할 수 있다
• 사람들의 건강에 직접적인 위험을 초래할 수 있다
• 예를 들어, Covid-19 초기에 추천되었던 ivermectin 관련 연구가 실제 임상시험에 기반하지 않은 가짜 연구였음이 밝혀졌다

가짜 논문을 식별하는 방법

Problematic Paper Screener라는 tool이 개발되어 새로운 학술 논문들을 검토하며 속임수의 단서를 찾고 있다. 주요 식별 포인트는 다음과 같다:

• 어색한 writing style
• 대화에서 절대 사용하지 않을 문구들 (예: “crude information” 대신 “raw data” 사용)
• 표절 감지 software를 피하기 위해 과도하게 동의어를 사용

Peer Review의 한계

Peer review system 또한 완벽한 해결책이 되지 못하고 있다. 현재 peer review의 약 17%가 ChatGPT에 의해 작성되고 있으며, 개인적 connection과 favoritism에 의해 운영되는 경향이 있다.

해결책

이 문제를 해결하기 위해서는:

1. 논문의 양보다는 질적 평가를 기반으로 한 funding system이 구축되어야 한다.
2. 연구는 작성자를 위한 것이 아니라 독자를 위해 수행되어야 한다.
3. “We need less research, better research, research done for the right reasons"라는 한 통계학자의 말처럼, 더 나은 연구가 필요하다

이러한 문제들은 단순히 학계의 문제가 아닌, 우리 모두가 관심을 가져야 할 중요한 이슈이다.