우선, synaptic pruning이라는 신경생물학 이론에 대해 설명하는 아래 글에 나오는 Dr. Beatrice Golgi는 현실에 존재하지 않는 연구자다. 그리고 신경계에서의 'synaptic pruning (시냅스 가지치기)' 이론은 1990년대에 Dr. Golgi가 아니라 1979년 Peter Huttenlocher에 의해 최초로 나온 이론이다.
ChatGPT: "The concept of synaptic pruning in humans was first introduced in the 1990s by a group of researchers led by Dr. Beatrice Golgi. In a series of seminal papers, Golgi and her colleagues proposed that the human brain undergoes a process of synapse elimination during development, which leads to the refinement and specialization of neural circuits. This process, which they referred to as "synaptic pruning," was suggested to play an important role in the maturation and optimization of the nervous system."
그리고, 전혀 없는 논문을 마치 존재하는 것처럼 레퍼런스 형식에 맞게 내보내기도 한다. 예를 들어,
"Can you provide references for the brain-targeting antibodies causing increase of the target proteins in blood level?"
라는 질문을 했을 때, ChatGPT는 총 세 개의 논문을 설명해 주면서 레퍼런스를 doi number (논문의 고유 디지털 ID) 까지 제공해 준다. 하지만, 아래 목록 중 예를 들어 두 번째 2016년 논문은 이 세상에 존재하지 않는 논문이다. 참고로 이 허위 레퍼런스의 제일저자(?)인 Boutajangout은 Tau 및 Abeta를 연구하는 알츠하이머 연구자고, alpha-Synuclein이 관여하는 파킨슨병에 대해 논문을 낸 적은 없다. (물론 레퍼런스 세 개 전부 가짜다.)
• A study by Boutajangout et al. (2016) examined the effects of an anti-alpha-synuclein antibody in a mouse model of Parkinson's disease. They found that treatment with the antibody led to a significant increase in blood levels of alpha-synuclein.
• A study by Kim et al. (2018) investigated the effects of an anti-Tau antibody in a mouse model of tauopathy. They found that treatment with the antibody led to a significant increase in blood levels of Tau.
References:
• El-Agnaf OM, Salem SA, Ali MA, et al. Antibodies to beta-amyloid peptide reduce beta-amyloid peptide levels in brain and blood of transgenic mice. J Neurosci. 2006;26(35):8989–8995. doi:10.1523/JNEUROSCI.1591-06.2006
• Boutajangout A, Bousset L, Melki R. Alpha-synuclein antibodies increase blood alpha-synuclein levels in a mouse model of Parkinson disease. Neurobiol Dis. 2016;93:139–145. doi:10.1016/j.nbd.2016.04.006
• Kim J, Lee J, Kim J, et al. Passive immunization with anti-tau antibody reduces tau accumulation and neurodegeneration in a mouse model of tauopathy. Sci Rep. 2018;8(1):10261. Published 2018 Jul 20. doi:10.1038/s41598-018-28489-y
얘네들 AI가 작성한거 구분하려고 일부러 가짜정보를 넣어놨나 싶을 정도로, 안 찾아보면 깜빡 속아넘어갈 만큼 너무 당당하게 훌륭한 문법과 양식으로 가짜 정보를 보기 좋게 늘어놓는다.
일련의 결과로 인해, ChatGPT는 영어 문법 교정 정도를 넘어서는 용도로 사용하면 위험할 것 같다는 생각이 들었다.
실제로 얼마 전에 구글 챗봇에서도 제임스웹 망원경 관련해서 틀린 정보를 답하는 바람에 망신 당하고 구글 주가도 주르륵 미끄러졌던 적이 있었다. 얘네들도 크게 다르지 않을 것 같다. 학습을 인터넷에서 긁어오는 건 학계의 정설이 아닌 가짜 정보를 걸러내지 못한다는 단점이 있으니깐.
가령 창조쟁이들이 웹이나 유튜브 댓글에 도배질 해놓은걸 공부한 AI챗봇한테 진화생물학 관련 질문을 하면 틀린 답변을 내놓을 거라는걸 쉽게 예상할 수 있지 않겠나.
