[ChatGPT] AI 챗봇의 한계: 허위 정보를 속을만큼 예쁘게 적어서 내보낸다.

ChatGPT 에게 전문 지식에 대해 물어볼 때 조심해야 할 점: 가짜 정보를 마치 사실인 것처럼 이야기한다는 점이다.

 
우선, synaptic pruning이라는 신경생물학 이론에 대해 설명하는 아래 글에 나오는 Dr. Beatrice Golgi는 현실에 존재하지 않는 연구자다. 그리고 신경계에서의 'synaptic pruning (시냅스 가지치기)' 이론은 1990년대에 Dr. Golgi가 아니라 1979년 Peter Huttenlocher에 의해 최초로 나온 이론이다. 

(논문: https://doi.org/10.1016/0006-8993(79)90349-4 / 리뷰: https://doi.org/10.1073/pnas.2010281117)

ChatGPT: "The concept of synaptic pruning in humans was first introduced in the 1990s by a group of researchers led by Dr. Beatrice Golgi. In a series of seminal papers, Golgi and her colleagues proposed that the human brain undergoes a process of synapse elimination during development, which leads to the refinement and specialization of neural circuits. This process, which they referred to as "synaptic pruning," was suggested to play an important role in the maturation and optimization of the nervous system."

그리고, 전혀 없는 논문을 마치 존재하는 것처럼 레퍼런스 형식에 맞게 내보내기도 한다. 예를 들어, 

"Can you provide references for the brain-targeting antibodies causing increase of the target proteins in blood level?"

라는 질문을 했을 때, ChatGPT는 총 세 개의 논문을 설명해 주면서 레퍼런스를 doi number (논문의 고유 디지털 ID) 까지 제공해 준다. 하지만, 아래 목록 중 예를 들어 두 번째 2016년 논문은 이 세상에 존재하지 않는 논문이다. 참고로 이 허위 레퍼런스의 제일저자(?)인 Boutajangout은 Tau 및 Abeta를 연구하는 알츠하이머 연구자고, alpha-Synuclein이 관여하는 파킨슨병에 대해 논문을 낸 적은 없다. (물론 레퍼런스 세 개 전부 가짜다.)

• A study by El-Agnaf et al. (2006) looked at the effects of an anti-amyloid beta antibody in a mouse model of Alzheimer's disease. They found that treatment with the antibody led to a significant increase in blood levels of amyloid beta.
• A study by Boutajangout et al. (2016) examined the effects of an anti-alpha-synuclein antibody in a mouse model of Parkinson's disease. They found that treatment with the antibody led to a significant increase in blood levels of alpha-synuclein.

• A study by Kim et al. (2018) investigated the effects of an anti-Tau antibody in a mouse model of tauopathy. They found that treatment with the antibody led to a significant increase in blood levels of Tau.

 
References:
• El-Agnaf OM, Salem SA, Ali MA, et al. Antibodies to beta-amyloid peptide reduce beta-amyloid peptide levels in brain and blood of transgenic mice. J Neurosci. 2006;26(35):8989–8995. doi:10.1523/JNEUROSCI.1591-06.2006
• Boutajangout A, Bousset L, Melki R. Alpha-synuclein antibodies increase blood alpha-synuclein levels in a mouse model of Parkinson disease. Neurobiol Dis. 2016;93:139–145. doi:10.1016/j.nbd.2016.04.006
• Kim J, Lee J, Kim J, et al. Passive immunization with anti-tau antibody reduces tau accumulation and neurodegeneration in a mouse model of tauopathy. Sci Rep. 2018;8(1):10261. Published 2018 Jul 20. doi:10.1038/s41598-018-28489-y

얘네들 AI가 작성한거 구분하려고 일부러 가짜정보를 넣어놨나 싶을 정도로, 안 찾아보면 깜빡 속아넘어갈 만큼 너무 당당하게 훌륭한 문법과 양식으로 가짜 정보를 보기 좋게 늘어놓는다. 

일련의 결과로 인해, ChatGPT는 영어 문법 교정 정도를 넘어서는 용도로 사용하면 위험할 것 같다는 생각이 들었다.

실제로 얼마 전에 구글 챗봇에서도 제임스웹 망원경 관련해서 틀린 정보를 답하는 바람에 망신 당하고 구글 주가도 주르륵 미끄러졌던 적이 있었다. 얘네들도 크게 다르지 않을 것 같다. 학습을 인터넷에서 긁어오는 건 학계의 정설이 아닌 가짜 정보를 걸러내지 못한다는 단점이 있으니깐.

가령 창조쟁이들이 웹이나 유튜브 댓글에 도배질 해놓은걸 공부한 AI챗봇한테 진화생물학 관련 질문을 하면 틀린 답변을 내놓을 거라는걸 쉽게 예상할 수 있지 않겠나.

연구 주제에 따른 연구 방법 설계하기

http://www.ibric.org/myboard/read.php?Board=news&id=304533&Page=1

연구 주제에 따른 연구 방법 설계하기

생물과 또는 의대 대학원에 입학해서 많은 경우 선배나 포닥이 하는 실험 중 일부를 받아다가 그게 뭐하는 건지도 모르고 실험 방법만을 배워서 진행하곤 한다. 하지만 그러면 랩미팅 시간에 대뜸 '그래서 그 실험은 뭣땜에 and/or 뭘 보려고 한건데?'라는 질문에 대답 못하는 경우가 생긴다.

가장 우선적으로, '내가 이렇게 실험을 많이 했다' 하는 것을 보여주기 이전에, 그 많은 실험들을 왜 하는가에 대한 고찰이 필요하리라고 생각한다. 예를 들어서 다음과 같은 사고 과정을 단계 단계별로 진행해 보면 될 것이다. 다만 이러한 과정이 절대적인 것은 아니며, 나름의 과학적 방법론에 입각해서 체계적으로 설득력 있는 가설-검증 과정을 수행할 수 있을 경우 다른 방법을 따르는 것도 좋다.


introduction

(1) 내가 어떠한 현상에 관심을 갖고 있으며, (what is my interest)

(2) 그 중 알려진 부분은 어떤 것이고, (what is known)

(3) 아직 알려져 있지 않은 (내가 궁금한) 점은 어떤 것인지, (what is unknown & where do I focus)


strategy

(4) 알려진 부분으로 미루어 보아 그 궁금한 부분은 무엇 때문일 것이다 하는 나의 가설 (setting up my hypothesis)

(5) 그 궁금한 점을 해결하기 위해서는 어떠한 실험들이 필요한지 (experiments needed)

[부가적] (5-1) 실험이 예상대로 나올 경우의 해석 (my interpretation with expected results)

[부가적] (5-2) 실험이 예상대로 나오지 않을 경우의 대안적 해석 (my (alternative) interpretation with unexpected results)


results

(6) (비슷한 얘기지만) 지금 보여주는 특정 실험은 무엇을 알아보기 위해 하는 것인지, (What do I want to see with this experiment)

(6-1) (부가적으로) 실험 방법에 대한 간단한 소개 (short introduction for the method)

(7) 결과는 어떻게 나왔는지, (what's the result)

(8) ＞for "results" if "I have more" then goto (6) else goto (9)


discussion

(9) 이 실험들이 내 가설의 전체 맥락에서 어느 부분을 설명하는지,(what do these experiments explains about my hypothesis) 그리고 내가 알아보고자 하는 점(가설)을 이 실험 결과가 충분히 설명했는지 여부 (if this experiment is enough to explain my hypothesis)

(10) 추가 & 반복실험 필요 여부 및 진행상황 (further studies (if needed) & current progress)

[신경 쓰이는 생물학 이야기] 신경 쓰이는 작업도구(2): 논문 쓸 때 레퍼런스 정리는 멘델레이 (Mendeley)로 해보자.

지난 글에서는 논문 작성의 필수품인 마이크로소프트 오피스의 구독형 버전인 MS Office365를 교육기관 소속이면 무료로 사용할 수 있다는 점에 대해 알아보았다. (참조: 신경 쓰이는 작업도구(1): 원생 및 포닥의 MS Office 365) 이번 글에서는 MS Word를 사용해서 논문을 작성할 때 매우 편리하게 사용할 수 있는 보조 프로그램을 소개하고자 한다. 논문 쓸 때 레퍼런스 정리는 어떻게들 할까? 학교 계약을 통해서 교내에서 유료 서지관리 프로그램인 EndNote를 설치해서 쓸 수 있으면 다행이다. 다만 학교마다 서로 다른 곳들과 계약이 되어 있기 때문에 어디서는 Refworks 어디서는 EndNote 대략 이런 식으로 따로따로 쓰고 있다. 여기서 필자가 소개하고자 하는 프로그램은, 어디서나 누구나 무료로 사용 가능한 멘델레이(Mendeley)라는 프로그램이다. 멘델레이는 2013년에 소위 ‘출판 공룡’이라 불리는 엘제비어(Elsevier)에 인수되어 현재에 이르고 있고, 비교적 넉넉한 2GB의 온라인 PDF 저장 공간을 제공하고 있다. 대체로 클라우드 중심의 인터페이스로 운영되고 있기에 여러 기기에서 동기화를 하기가 용이한 편이다. (브릭에서 계속 읽기)

[신경 쓰이는 생물학 이야기] 신경 쓰이는 작업도구(1): 원생 및 포닥의 MS Office 365 – MS OneDrive 1TB 공짜(!)로 써먹기

흥미로운 생물학 연구 관련 포스팅들도 재미있었지만, 지난 번 포스팅의 반응을 보니 그 이외의 관련 주제들에 대해서도 다루어 보는 것이 어떨까 해서 당분간 주제의 방향을 좀 “(연구자 한정) 생활 밀착형”에 가깝게 살짝 바꿔 보고자 한다. 관련하여 독자 여러분의 많은 의견 부탁한다.

무릇 인간은 ‘도구를 쓰는 동물’이라고 하였다. (Homo Faber – by 앙리 베르그손) 그렇다면 대학원생 또는 포스닥 연구원으로서 파이펫 빼고 우리가 가장 많이 사용하는 도구는 무엇일까? 바로 컴퓨터일 것이다. 그 중 우리가 이미징 분석이나 시퀀싱 결과 등의 분석이나 계산 작업을 빼고서 가장 많이 사용하는 용도는 무엇일까? 문서 작성 및 발표자료 준비가 아닐까 생각한다. 그러면 전 세계적으로 이러한 목적으로 사용하는 프로그램은 무엇을 가장 많이 사용할까? 바로 마이크로소프트의 오피스 프로그램일 것이다. 물론 토종 오피스인 한컴오피스 아래한글이 국내에서는 30퍼센트 정도 점유하고 있지만, 그것 역시 공공기관에서의 강제적인 사용 때문이라 우리 같은 파이펫쟁이들은 대부분 MS Office의 지배 하에 있다고 해도 과언이 아닐 것이다.

그림 1. 점점 확고해지는 마이크로소프트 왕국의 지구정복. (출처: Okta.com의 ‘Business at work 2019 report’. 이건 심지어 오피스 뿐 아니라 모든 프로그램(!)을 통틀어서 수집한 결과임.)
 

특히 MS Office 365의 경우 클라우드 싱크를 강조한 제품인데, 정기구독 개념으로 구매를 하게 되어 현재 시세로 대략 1년에 9만원~12만원 정도의 요금을 내게 된다. 하지만, 마이크로소프트는 “아직도 배가 고픈” 것인지, 예비 사용자들을 대상으로 일찍부터 점유율을 올려 놓고서 이후의 유료 사용자를 늘리기 위한 일환으로 (일단 필자의 생각이다.) 학생 및 교직원(교사 포닥 연구원 교수 포함)들에게 무료로 배포중이다. (전체 읽기 클릭)

신경 쓰이는 아무말: 나 자신의 진로적성은 무엇일까?

이제 와서 느낀 점인데, 지금의 내가 가장 잘 할 줄 아는 것은 업무상 편리한 작업 도구 (또는 프로그램) 를 찾아내어 다른 이들에게 소개하고 사용법을 가르쳐 주는 것이 아닐까 싶다.

석사과정 때는 그냥 처음 써보는 실험방법이나 문서작성법 등을 배우기 급급해서 별게 없었던 것 같다. 다만 이때부터 SPSS를 처음 배워보거나 노트북을 사용한 문서 작성에 재미를 붙이거나 하는 등의 기반 다지기 시절이었던 것 같다.

박사과정 때도 그런게 잘 드러나진 않았다. 다만 교수가 biased random walk에 꽂혀서 모든 결과를 그 관점에서 보는 바람에 논문 연속 리젝만 열 번 가까이 먹었는데, 결국 게재승인된 논문에는 내가 졸업논문에 진화론에 빗대어 쓴 개념 설명을 (random vs determination 사이의 상호관계 등) 상당 부분 차용했다. (그래서 거기 내 데이터 별로 없어도 코퍼스트 넣어줬겠지...)

그리고 image analysis 할때 현미경에 딸려온 유료 프로그램을 써서 수동으로(...) 배경 찍고 형광시그널 찍어서 백그라운드 노이즈 노멀리제이션 하고 있길래 ImageJ의 subtract background 기능을 찾아서 알려주고 나도 잘 써먹었다. 세포표면의 receptor asymmetry 측정을 위해서는 oval profile이라는 (더이상 업데이트 안돼서 ImageJ도 구형 버전으로 써야하는...ㅠㅠ) 플러그인을 찾아서 자동으로 방향성을 측정할 수 있었기에 (이때 샘플 n수가 그룹당 적게는 100개, 많게는 300개 이상이었다. 쥐가 아니라 벌레-예쁜꼬마선충-라서 할 수 있는 숫자임) 졸업논문용 데이터 쌓아올리는 데 유용하게 썼다.

(...생각보다 많네? 그런데 요때는 거의 나혼자 써먹을 용도였다는거...)

포닥1 때는 랩원들이 다들 적절한 그래프 디스플레이 방법이 없어서 헤메고 있었을 때 내가 GraphPad Prism을 써보기를 제안했고, 그래프 때문에 고생하던 학생의 문제가 싹 사라졌다. 써보면 쓰기 쉬우니깐. 그리고 R 배울 것을 추천해서 그 학생은 R을 제대로 학교 수업에서 배웠다. 결국 우수한 학생으로 크고 있는 것 같다. (그런데 나는 배운적 없어서 할 줄 모른다는게 함정.ㄷㄷㄷ)

연구교수 때는 내가 제안한 것들 중에 카카오 아지트가 채택되어 시험적으로 운용되었다. 그때까지 이메일로만 오갔던 학생-교수 사이의 디스커젼이 온라인 상에서 거의 실시간으로 이루어지는 것을 보았다. 말하자면 실험실 운용의 사이버 인프라를 제공했던 셈이었다.

현재 다시 포닥2 오면서는 원드라이브와 오피스365를 추천했다. 논문 작성하면서 실시간으로 교수의 피칠갑(...)이 시작되었고, 논문 필진 중 학생 한 명은 라이팅에 실질적으로 많은 도움이 되었다고 했다. 그 학생에게는 멘델레이 사용법도 살짝 가르쳐 주었는데, 이전까지의 매뉴얼 타이핑에 비해 엄청 쉽다며 신나게 써먹고 있다.

...이런 사실로 미루어, 내가 갈만한 다음 직장은 어떤게 좋을까. (충분한 연봉과, 직업적 안정성 또는 성장성이 있어야 한다.) 연구성과(=논문)에 관계 없이 갈만한 좋은 곳이 있을까?

[신경 쓰이는 생물학 이야기] 신경 쓰이는 아무말: 바이오 PhD의 진로에 대하여

바이오 전공 박사로서 갈 수 있는 직종은 생각보다 많았다. 그 무엇도 쉬운 길은 없지만. ​​​(출처: 위키백과 영문판)

오늘은 지금까지의 바이오 뉴스 소개하는 글과는 좀 다른 성격의 이야기를 해보고자 한다. 바로 명절날 친척 모임에서 “너 박사 졸업하고 나면 or 포닥 하고 나면 이제 뭐할건데?”에서 뭐할건데(…)를 맡고 있는 바이오 PhD의 진로에 대한 이야기다.

지금까지 살아온 여정을 되돌아보고 있노라면, 그리 성공적인 인생을 살아오지 못한 데 대한 아쉬움이 크다. 처음 이 분야에 대한 공부를 시작하겠다는 결심부터 그저 고3때 뭔가 미래가 있어 보인다는 다소 가벼운 마음으로 심각한 고민 없이 결정했던 것이 아닐까. 이왕 지금까지 저질러 왔던 것이 있으니 처음 전공을 정하던 시절로 되돌아갈 수도 없고 해서, 지금 시점에서 내가 나아갈 만한 진로에는 뭐가 있는지에 대해 여러 가지 옵션들을 알아보고자 한다. 예상보다 많은 길이 있었으나, 뭐든 쉽지는 않고 충분한 준비가 필요한 것 같다. 일단 지금까지 내가 알아봤던 진로들에 대해 간단히 정리해서 적어 보고자 한다. 이밖에도 여러 가지 진로가 있을 수 있으니 내가 놓친 부분이 있다면 독자 여러분께서 덧붙여 주시면 감사하겠다. 아무래도 직접보다는 간접 경험이 많아 틀린 부분에 대한 지적도 해주시면 감사하겠다.

1. 전형적인 길 (1): 아카데믹 테뉴어 트랙

말할 것도 없이 대부분의 대학원생들이 이미 알고 있는 길이다. 학부-석사-박사-포닥-연구교수-조교수-부교수-정교수로 일직선의 엘리트 코스. 문제는 이런 길을 갈 수 있는 사람은 전체의 1% 될까 말까 하다는 점이다. 굳이 이 길을 가고자 한다면, 현재의 내 연구능력이나 위치로 따져볼 때 나랑 같은 건물에서 맨날 마주치는 같은 과 대학원생들 선후배 포함해서 한 트럭 가득 데려다 놔도 내가 그들보다 낫다는 확신이 서야 한다.

장점: 가장 전형적인 진로이며, 옆길로 새지 않고 한길만 파는 진로의 정점이랄 수 있겠다.

단점: 절대 다수가 나이 많은 비정규직 연구교수 또는 포닥으로 늙어간다. 필자는 현재 여기 엮여 있는데, 탈출을 위해 버둥거리는 중이다.  (전체 읽기 클릭)

[신경 쓰이는 생물학 이야기] 마늘을 먹으면, 노화로 인한 기억력 감퇴를 막아 줄까?

(흥미로운 주제의 뉴스를 발견했는데, 최근 열린 미국 생리학회에서 발표된 포스터 하나를 요약한 뉴스들만 있고 해당 연구에 대해 출판된 논문은 없기에 그냥 그 뉴스를 번역해 보았다. 내 나름의 언어로 요약-정리한 것이 아니라 영어 원본을 그대로 한국어로 옮긴 것이기 때문에 문체는 좀 딱딱할 수 있다.)

요약:  마늘에는 황화알릴 성분이 있어서 이를 섭취하면 장내 필수 박테리아를 복원시킴으로써 기억 및 인지능력을 증진시켜 준다. 

(출처: 미국 생리학회의 2019년 실험생물학 학술대회)

최근의 실험용 생쥐를 이용한 연구 결과에 의하면, 노화로 인한 장내 미생물균총 변화가 기억력 감퇴와 연관되어 있는데, 마늘을 섭취할 경우 이를 되돌릴 수 있다고 한다. 이러한 유익한 효과는 건강에 좋다고 알려져 있는 마늘에 포함된 황화알릴이라는 성분에 의한 것이다. (전체 읽기 클릭)