피어 리뷰은(는) 여기로 연결됩니다.
하프라이프: 디케이의 팬리메이크 작품에 대한 내용은 피어 리뷰(게임) 문서 참고하십시오.- 한자: 同僚評價
- 영어: peer review
1. 인사평가의 방법
평가의 한 방법으로 동기이거나 근접기수에 해당하는 사람들끼리 서로 평가하도록 하는 제도이다.일반적으로 부서장이나 선임직원이 평가하는 근무평정과는 달리 동료들이 보기 때문에 상사가 보기 힘든 부분을 볼 수 있다는 장점이 있다.
간혹 대학 조모임 등에서 동료평가를 실시하는 경우도 있다. 이런 경우 무임승차자를 가차없이 공격한다. 그리고 각 조별 발표를 조장들이 서로 점수를 매기게 하는 경우도 있는데 이 경우도 동료평가의 일종이다.
1.1. 문제점
- 친목질
친목질을 잘 하는 사람이 높은 평가를 받을 수 있고 비슷한 승진 시기가 걸린 사람들이면 서로 악의적인 평가를 내릴 수도 있다. 때문에 기여도와 관계없는 개인적인 감정으로 직무 평가를 할 위험이 있다.
대학교 조별평가만 하더라도 외모가 훌륭한 이성에게 좋은 점수를 주고 외모가 훌륭한 동성일수록 나쁜 점수를 준다든지, 성적이 높을 것 같은 학생에게는 학점을 잘 받지 못하게 하려고 나쁜 점수를 준다든지 등등 온갖 기상천외한 기준으로 제멋대로 평가하는 경우가 빈번하다. 당연히 직장 내 동료평가라 해서 다를 것은 없다. 대학생들이 대학 졸업하고 직장 들어오면 대학교에서 하던 짓을 직장에서도 똑같이 반복하기 때문.
물론 자신의 편이거나 신세를 졌거나 상대를 자신들의 아군으로 인식하는 경우 서로 동료평가에 어떻게 쓸지는 설명할 필요조차도 없다. 당연히 니편 내편 논리가 적용된다.
때문에 동료평가 도입시기 광적인 열풍이 몰아치던 초기면 몰라도 현재는 동료평가에 큰 비중을 두는 조직은 거의 없다고 봐도 무방하다. 어차피 조직은 어지간히 막장이 아닌 이상 성과가 최우선이기 때문.
- 카르텔
뒷배경이 좋은 사람이 그 뒷 배경을 이용해서 자신에게 밉보인 동료에게 몰빵을 쳐버릴 수 있다. 이 경우 당하는 사람의 입장에서 보면 매우 억울하다.
기업의 경우 동료 평가를 하게 되면 이사의 아들이거나 부장의 조카 이런 식의 인맥이 있는 사원이 자기가 싫어하는 동료를 찍어내버리기 매우 쉬운 구조를 갖추게 되는데 이렇게 되면 능력과 인품과는 별 상관없이 그 인물에게 잘 보이느냐 잘못 보이느냐로 조직에서의 생명력이 결정되므로 조직 운영에 엄청난 악영향을 끼친다.
- 사내정치
치열한 승진, 이권 경쟁이 오가는 조직 특성상, 상대방을 조금이라도 깎아내릴 수 있는 수단과 방법을 가리지 않고 행하는 것이 빈번하다. 때문에 동료평가는 한마디로 고양이에 생선가게를 맡기는 격이다. 당연히 부작용들이 속출하였고 결국 공무원 조직 등에서도 동료평가 등 다면평가 등의 폐해를 자각, 이를 폐지하거나 축소하였다. 최근 대한민국 학교 교사들도 동료평가 폐지를 주장하며, 동료평가를 거부하기도 했다.
동료평가 과정에서 자신의 잘못에 대해 남탓을 시전하며, 남에게 책임을 떠넘기며 남이 책임을 지려 하지 않는다고 정치질이 나오기도 한다.
한국에서 동료평가 도입을 주장하는 측에서도 인정하는 사안이다. 같이 몰려다니는 패거리, 계파들에게 후한 점수를 주고, 자신과 어울리지 않거나 사이가 나쁠 경우 제대로 판단해보지도 않고 바로 사정없이 평가를 긁어버리기 때문.
때문에 동료평가를 도입한 곳 중 많은 곳은 이러한 갈등을 피하기 위해 서로의 입을 맞추어 서로에게 무난한 평가를 주어, 동료평가가 인사고과 등에 영향을 미치지 않게 하거나, 순번을 정해 돌아가면서 좋은 평가를 몰아주기도 한다.
- 주관적인 잣대
둉료평가의 가장 큰 문제점임과 동시에 동료 평가가 신뢰성이 전무한 이유. 객관적인 시험이나 실적등의 업무 평가를 통한 기여도 측정에 의한 평가가 아닌, 사람이 사람을 주관적으로 평가하는 것이 허다하다. 이거 때문에 업무 실적이 좋은 사람보다 업무 실적은 적당하면서도 사내정치, 정치질, 동기들 인맥 관리를 더 잘하는 사람이 승진이 더 잘 되는 경우가 비일비재한 것이다. 어차피 평가는 사람이 하는 것이니 지적 안 당할 정도로만 업무에 신경쓰고 나머지는 회사 내 인맥관리 하며 사는 게 업무 성과 낼려고 골머리를 썩는 거보다 훨씬 더 효율적인 것이다.
동료 평가의 내용들을 보면 대부분이 개인적 반감과 악감정을 완곡어법으로 써서 돌려서 특정인을 까는 경우가 허다하다. 보통 그냥 뭉뜽그려서 책임감이 없다, 책임을 회피한다, 무책임하다 등의 표현들을 쓴다. 물론 왜 자신이 어떤 것을 근거로 상대를 무책임하다 책임을 회피한다고 생각했는지 이유 설명은 전혀 없다.
참고로 직장에서 책임지는 것은 결코 만만한 게 아니다. 문제 사안의 경우 인사 고과 감점에다가 사안이 클 경우 윗사람에게 찍히는 것은 덤. 당연히 사실 근거들을 기반으로 누가 무엇을 잘못해서 그랬는지 인과관계를 명확하게 따져야 하는 사안이다. 참고로 회사에서 책임 사안에 대해 책임질 경우 보통 사유서를 받는데 이것이 이후 인사고과나 퇴직 해임 등 불이익을 줄 때 사측의 근거로 사용된다.
따져보면 결국 기존의 주관적인 기준잣대에 의한 인사고과 평과와 성과 측정들을 하는 주체들이 단지 직장 내 상급자들에서 직장 동료들로 바뀐 것일 뿐이다.
- 역할의 충돌
직원들이 동료이자 동시에 서로간의 평가자가 되기 때문에 역할의 충돌이 불가피하다.
2. 학술 연구자들의 상호작용
| <colbgcolor=#000> 과학 연구 · 실험 Scientific Research · Experiment | ||||
| {{{#!wiki style="margin:0 -10px -5px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-6px -1px -11px" | <colbgcolor=#000><colcolor=#fff><rowcolor=#000,#fff> 배경 | 과학적 방법 | ||
| 기반 | 수학(미적분학 · 선형대수학 · 미분방정식) · 통계학(수리통계학 · 추론통계학 · 기술통계학) | |||
| 연구·탐구 | 논증(귀납법 · 연역법 · 유추(내삽법 · 외삽법)) · 이론(법칙 · 공리 · 증명 · 정의 · 근거이론 · 이론적 조망) · 가설 · 복잡계(창발) · 모형화(수학적 모형화) · 관측 · 자료 수집 · 교차검증 · 오컴의 면도날 · 일반화 | |||
| 연구방법론 | 합리주의 · 경험주의 · 환원주의 · 복잡계 연구방법론 · 재현성(연구노트) | |||
| 통계적 방법 | 혼동행렬 · 회귀분석 · 메타분석 · 주성분 분석 · 추론통계학(모형(구조방정식) · 통계적 검정 · 인과관계와 상관관계 · 통계의 함정 · 신뢰도와 타당도) | |||
| 측정·물리량 | 물리량(물리 상수 · 무차원량) · 차원(차원분석) · 측도 · 단위(단위계(SI 단위계 · 자연 단위계) · 단위 변환) · 계측기구 · 오차(불확도 · 유효숫자) | |||
| 실험 | 실험설계 · 정성실험과 정량실험 · 실험군과 대조군 · 변인(독립 변인 · 조작 변인 · 종속 변인 · 변인 통제) · 모의 실험(수치해석) · 맹검법 · 사고실험 · 인체실험 · 임상시험 · 실험 기구 | |||
| 연구윤리 | 뉘른베르크 강령 · 헬싱키 선언 · 연구투명성 · 연구동의서 · 연구부정행위 · 표절(표절검사서비스) · 편향 · 문헌오염 · 자기교정성 · 연구윤리위원회 | |||
| 논문·과학 공동체 | 소논문 · 리포트 · 논문제출자격시험 · 연구계획서 · 형식(초록 · 인용(양식 · 참고문헌) · 감사의 글) · 저자 · 학회 · 세미나 · 학술대회 · 동료평가 · 지표 · 학술 데이터베이스 · 게재 철회 · 학제간 연구 | |||
| 철학 관련 정보 · 연구방법론 관련 정보 · 수학 관련 정보 · 자연과학 관련 정보 · 물리학 관련 정보 · 통계 관련 정보 · 사회과학 조사연구방법론 | }}}}}}}}} | |||
"논문 투고가 받아들여지기 위해 충족되어야 할 첫 번째 기준은 논문 내용에 충분한 타당성이 있어야 한다는 것이다. 과학 논문은 괴짜나 사기꾼, 실력 없는 엉터리들에게 끊임없이 시달리는데, 학술지가 그런 사람들로 인해 수렁에 빠지지 않으려면 그들이 투고한 논문에 퇴짜를 놓아야 한다."
― 마이클 폴라니(M.Polanyi)
― 마이클 폴라니(M.Polanyi)
"많은 과학자들은 새로이 간소화된 동료평가 방식에 대해 '많이 발전했다'라는 의견을 표하였다."[1]
(출처)같은 학자들끼리 논문을 돌려보며 평가한다고 해서 동료평가다.
과학철학계에서 동료평가와 과학자사회의 중요성을 알린 인물은 바로 물리학자이자 과학철학자인 마이클 폴라니이다. 그는 과학함의 의미를 명시화된 수준뿐만 아니라 인간 내적이고 암묵적인 수준에서도 이루어지는 지식축적의 과정에서 찾으면서, 이러한 과정을 공유하는 것이 바로 과학적인 것이라고 하였다.[2] 폴라니는 여기서 더 나아가, 어떻게 수천 수만의 전 세계 과학자들이 연구의 품질을 동일하게 유지하는 통일성을 보일 수 있는지에 대답하고자 했다. 그는 그 비결로서 서로가 서로의 연구에 대해 자신의 과학함의 경험을 토대로 상대방의 연구 결과를 평가하는 활동인 상호통제의 원리(principle of mutual control)를 제안했다. 특히나 과학의 각 분야들은 완전히 동떨어져 있지 않으며 어느 정도씩은 중첩되어 있으므로, 서로의 경험이 사슬처럼 조금씩 겹쳐지고 겹쳐지면서 상호통제가 확장될 수 있다. 마침내, 천문학과 의학처럼 완전히 다른 주제를 연구하더라도 서로의 연구의 품질에 대해 최소한도의 수준에서는 좋다 나쁘다의 말을 얹을 수 있다. 이것을 폴라니는 이웃 중첩의 사슬(chains of overlapping neighborhood)이라고 하였다. 요약하자면, 전세계의 모든 과학자들이 서로 비슷비슷한 연구 품질의 기준을 갖고 있는 것은 과학자사회가 서로를 통제하는 수단인 동료평가 덕분이라는 것이다.
학술세계에서 동료평가는 대략 두 가지로 구분될 수 있는데, 하나는 과학자 동료들 사이에 서로의 연구 아이디어나 방법론을 접해보고 나름대로의 의견을 교류하는 코멘트(comment) 또는 비평(criticism)이고, 다른 하나는 실제로 저널에서 특정 연구자의 논문을 출판하기 전에 그 질적 수준을 평가하는 과정이다. 전자는 좀 더 캐주얼한 느낌이지만, 후자는 정말로 하드코어한 과정이다.
비유하자면, 길거리 클럽들에서 출입자를 관리하는 과정이 바로 저널의 동료평가라고 할 수 있다. 클럽들이 이를 통해서 자기네 클럽의 "물" 을 관리하듯이, 저널들도 엄격한 동료평가를 통해서 자기 저널의 "물" 을 관리한다. 만일 어떤 클럽이 유독 입구에서 까다롭게 굴면서 정말 그럴싸한 사람들만 들여보내 준다면, 그 클럽 안에 있는 사람들은 일단 기본적으로 어지간히 차려입고 매력적인 사람이라고 봐도 될 것이다. 마찬가지로, 어떤 저널이 동료평가를 엄청나게 까다롭게 하면서 짜게 평가한다면, 그 저널에 실린 논문들의 가치는 그만큼 높을 것이라고 믿어도 될 것이다.
저널의 동료평가를 하는 사람들은 다시 두 종류로 나누어진다. 하나는 편집장(editor)이고, 다른 하나는 심사위원(reviewer)이다. 편집장은 자기 저널의 질적인 수준이나 내용적 측면에 대해서 책임을 지게 된다. 물론 그만큼 권한도 막강해서, 심사위원들의 의견과는 다른 결정을 내릴 수 있다. 저널이 영세할 경우 편집장이 직접 심사하기도 하고, 거대할 경우에는 부편집장(associate editor)을 두어서 역할을 분담하기도 한다. 만일 투고된 논문이 너무 쓰레기거나 저널과 맞지않는 주제의 연구라면 편집장은 심사위원들의 도움을 거치지 않고 독자적으로 거부(reject)할 수도 있고, 반대로 세상을 놀라게 할 희대의 논문이라고 생각되면[3] 채택(accept) 할 수도 있다.
그러나 편집장들이 현실적으로 자기 전공분야라 하더라도 모든 논의주제에 통달하기는 힘들다. 학문의 외연은 엄청나게 넓고, 비록 편집장이 ○○학을 전공한다고 해도 ○○학 내부에서 진행되는 수많은 논의주제에서 벌어지는 최신의 흐름을 모두 이해하기란 쉽지 않다. 여기서 심사위원들의 활약이 필요하다. 심사위원들은 편집장이 적절하다고 생각되는 인물로 찾아서 요청하게 되는데, 투고된 논문과 일치하는 세부분야를 전공한 다수의 학자들이 심사위원이 된다. 심사위원들은 그 논문을 읽어보고 그 가치에 대해서 편집장에게 정보를 제공하게 되는데, 이들은 그 논문을 채택 혹은 거부할 권한까지는 없으며, 단지 채택 혹은 거부에 필요한 조언만을 해줄 수 있을 뿐이다. 가끔이긴 하지만, 마이너한 분야 혹은 막 생겨난 신생분야에서는 편집장이 그 분야 심사위원을 구하지 못해 논문이 거부되는 일도 있긴 있다고 한다. 그래서 일부 저널들은 투고자가 원할 경우 자신이 희망하는 심사위원을 지명하여 추천할 수 있도록 배려하기도 한다.[4]
SagePub 등에서 명시하는 추천 리뷰어의 조건은 다음의 세 가지다.
- 당신의 원고 제출 사실에 대해서 사전 지식을 갖고 있지 않을 것
(The reviewer should have no prior knowledge of your submission) - 저자들 중의 누구와도 최근에 협업했던 경험이 없을 것
(The reviewer should not have recently collaborated with any of the authors) - 저자들 중의 누구와도 같은 기관에 소속되어 있지 않을 것
(Reviewer nominees from the same institution as any of the authors are not permitted)
이처럼 동료평가는 그 저널의 생명과도 같고 핵심적인 요체이기 때문에, 그 저널의 품질에 있어 결정적인 요소다. 따라서 새 논문을 발표하는 연구자는 자기 연구주제에 대해서 전세계에서 뛰는 그 분야 석학들의 파상적인 공격을 온몸으로 막아내며 방어해야 한다는 얘기가 나오는 것이다. 이것을 실패하면 백발이 성성한 최종보스급 노학자들에게서 뿜어져 나오는 내공과 포스가 여러분의 논문을 탈곡기마냥 탈탈 털어버리게 된다.[5] 보다 소프트하게 보자면 오래된 속담인 "머리 두 개가 하나보다 낫다"(Two heads are better than one)는 말처럼, 다른 연구자의 시선에서는 내가 놓쳤을 수 있는 결함이나 약점이 의외로 많이 발견된다. 당장 석사과정 대학원생들끼리 각자의 학위논문 주제를 놓고 난상토론을 벌여 봐도 숱하게 쏟아져나온다.
심사위원들이 논문의 저자명을 알 수도 있고 아닌 경우도 있다. 논문의 저자명을 알게 되는 경우 심사위원이 아는 사람이라고 관대하게 봐주거나 더 씹어버릴 수 있기 때문에, 논문의 저자이름은 저널의 정책에 따라 심사위원에게 전해지기도 하고 아닌 경우도 있다. 다만 논문의 저자 쪽에 심사위원을 알려주는 법은 절대 없다. 대신에 에디터는 저자들에게 각 심사위원들을 R1, R2, R3 같은 식으로 지칭하도록 안내한다.
예외적으로 특집호의 경우 거기에 실리는 논문들은 동료평가의 대상이 되지 않는다. 대신 저널 측에서 운영하는 편집위원회가 자신들이 생각하는 방향으로 특집호를 꾸리기 위해서 자체적으로 저자를 초빙하고 논문의 주제에 대해 협의한다. 한 예로, 저 유명한 앨런 소칼의 지적 사기 사건이 바로 이 특집호 논문이었는데, 이 때문에 소칼의 논문은 동료평가를 받지 않았고 그 대신 편집위원회에게서 내용이 지나치게 난해하다는 지적을 받았던 것. 물론 소칼은 자신의 계획대로 출판을 원했기에 그냥 씹었지만.
심사가 끝나고 게재가 결정되어 출판이 되었다고 해서 동료평가도 끝나는 건 아니다. 이제부터는 본격적인 오프라인에서의 대면 말싸움(…), 즉 게재 후 동료평가(post-publication peer review)라는 것이 시작된다. 대표적으로 저널 클럽(journal club) 같은 데서 그 저널을 애독하는 학자들이 모여서 비평을 하게 되고, 게재는 되었어도 의구심이 가시지 않는 문헌에 대해서는 여기서 한번 더 뒷담화를 당한다. 차후 피인용수를 높이는 데 하등 도움이 되지 않는 것. 반대로 정말 희대의 논문이다 싶을 경우에는 게재 후에 이런 과정을 거쳐서 상당한 인기를 얻을 수도 있다. 심지어 이미 출판된 논문들에 대해서 댓글을 달아서 나무위키 토론하듯이 토론할 수 있는 PubPeer라는 사이트도 있다.
물론 저널에 있어서의 동료평가가 중요함은 부정할 수 없으나, 앞서 언급했던 코멘트나 비평 역시 그 못지않게 중요하다. 즉 저널에서 이루어지는 동료평가는 상당히 좁은 의미의 "체계화된" 절차라면, 코멘트나 비평은 보다 넓은 의미의 캐주얼한 상호작용이라고 봐도 되겠다. 특히 학술대회의 프로시딩과 같은 물건들이 포스터 발표를 할 때 중요하다. 포스터를 걸어놓고 다른 연구자들의 열람과 즉석 코멘트를 받는 것은 저널에서 받는 동료평가와는 사뭇 다르다. 실제로 그 목적부터가 저널은 이 논문이 실릴지 말지에 대한 조언을 제공하기 위함이라면, 즉석 코멘트의 경우 그냥 말 그대로 궁금한 게 뭔지, 생각난 게 뭔지, 유사한 연구가 뭔지에 대해 질문하거나 언급할 수도 있으며 필요하다면 칭찬이나 격려도 당연히 할 수 있다. 괜히 학술세계에서 과학 공동체 활동이 중요한 게 아니다. 연구는 절대 혼자서 하는 게 아니라는 것이다.
과학적 회의주의를 다루는 사이트 한국의사과학연구소에서 강건일 교수는 과학과 과학이 아닌 것을 구분하는 기준으로서 대등한 과학자의 심사를 거쳤는지 확인할 것을 제안하고 있다. 동료평가가 업계에서 얼마나 중요하게 작용하는지 알 수 있는 부분 중 하나. 물론 꼭 과학분야가 아니더라도 인문학과 같은 다른 분야에서도 동료 연구자들의 평가는 매우 중요한 건 마찬가지다.
동료평가도 셀프로 할 수 있다고 한다. 이메일 계정을 잔뜩 만들어 그 계정들로 다중이짓을 하는 건데 그 시초가 한국이라고... 게다가 국내에서는 상호간 익명성이 보장되는 경우도 많지 않은 데다, 심사위원이 일부러 사소한 것까지 잔뜩 트집잡아서 투고자를 가혹하게 몰아붙인 뒤 조용히 술자리로 불러서 편집장에게 해당 논문을 추천해주는 대가로 200~300을 요구하는(!) 터무니없는 관행도 일부 잔존한다고 한다. 출판윤리 개념이 미숙한 나라의 과학자사회일수록 이런 경향이 심하며, 세계적으로는 이 문제로 중국 학계가 악명이 높다고.
또한 가끔이지만 국내에서는 동료평가의 전문성이 역전되는 경우도 있다. 방법론이 그다지 강조되지 않고 학문의 여건도 부족할 당시에 학위를 받은 사람들이 원로 석학이 되어 논문에 대한 평가를 하는 건데, 젊은 신진 연구자들은 해외 동향에도 빠르고 첨단 통계분석 기법에도 개방적이다 보니 간혹 리뷰어들이 듣도보도 못한 고급 연구방법을 내세우게 되곤 한다. 그러다 보니 리뷰어는 이게 왜 이렇게 분석되는 건지 이해를 못한 채 분석방법이 틀렸다고만 하고, 투고자는 이걸 일일이 가르쳐줄 수도 없고 결국 억울하게 리젝당하게 되는 황당한 일들도 종종 벌어지기도 한다.
2015년에 테일러 앤 프랜시스 그룹(Taylor & Francis Group)에서 동료평가에 대한 보고서를 냈다. (보고서 전문 보기) 많은 연구자들이 동료평가의 기능과 목적, 내용에 대해 합의하고 있었으며 소소한 개선이 필요하다는 보수적인 관점을 내놨다. 일반적으로 사회과학보다는 자연과학과 의학 등이 동료평가의 가치를 높게 평가했으며, 동료평가를 통해 방법론과 연구의 중요성, 저널이 추구하는 방향과의 합치성 등을 확인하는 것을 가장 기대하고 있다는 답변이 많았다.
동료평가도 많이 하면 상을 받을 수 있다고 한다. 2016년부터 새로 제정된 "과학의 수호자"(Sentinels of Science) 상이라는데, 상금 자체는 1,000달러 상품권 정도로 소소한(?) 편. 그러나 이는 동료평가의 중요성을 공식적으로 인정해 주기 위해 도입된 상으로, 자기 연구시간 쪼개기도 바쁜 교수들과 연구원들이 굳이 시간을 내어 타인의 연구에 대해 비평하고 도와주는 것에 자부심을 느끼게 하기 위해서라고 한다. #
꼭 상 때문이 아니더라도 젊은 연구자들이나 심지어 포닥들은 자신이 동료평가 리뷰어로 선정되기를 원하는 경우가 많은데, 눈코 뜰 새 없이 바쁜 일정임에도 굳이 리뷰어를 역임하려는 이유는 이것이 자신의 경력이 되기 때문이다. 실제로 연구자들의 이력서(CV)를 보면 동료평가 리뷰어로 뛰었던 기록들이 줄줄이 남겨져 있다. 또한 이는 아직 학계에서 기초가 부실한 이들이 확고한 인정을 받기 위한 수단이기도 하고, 또 자신이 이 분야의 전문가라고 과학자사회에서 공적으로 인정받는다는 자부심도 있기 때문에 상당히 매력적이다. 게다가 리뷰어로 뛰면서 상세하고 균형잡혀 있으며 건설적인 제안을 남기게 되면 (이미 그 분야의 석학의 위상을 누리는) 저널 에디터가 이 사람의 전문성에 대해서 눈여겨보게 되고, 이는 곧 학계에서의 명성으로 이어진다. 그래서 일부는 각종 저널들에 열심히 러브콜을 보내기도 한다고. 관련 블로그 포스트
동료평가를 믿을 수 없다면 다른 저널에 내는 게 좋다. 국내 SCI-E에서는 '연구로 인해 도출된 학술적 의미가 미흡하다'는 이유로 거절당했지만 해외 SCI에서는 '참신한 연구설계를 바탕으로 새로운 학술적 사실을 밝혀내어 기초미생물학적 의미가 크다'라고 평가하는 경우도 있다. 국내에서는 가끔 대학원생에게 리뷰를 대신 시키는 교수들이 있어서 생기는 일일 수도 있다.
2.1. 저자의 부담감
이처럼 하드코어한 동료평가의 과정은 그 분야에 막 발을 들여놓는 대학원생들뿐만 아니라 테뉴어를 노리는 노련한 중진 교수들에게까지 상당한 심리적 부담감을 준다. 그러나 동료평가에서 별 지적을 받지 않고 게재 승인 (accept) 된다면 나중에 오류가 밝혀지면서 더 큰 망신을 당할 수 있다. 자신의 논문에 대해 비판이 하나도 없다면 완전무결하다며 좋아하기보다는 심사의 부실함에 대해 찝찝한 감정이 앞선다. 따라서 논문의 저자들에게는 자기 논문에 대한 전문적인 비판을 받을 권리가 있다고 관점을 바꾸어 생각할 수도 있다.[6] 그리고 망신을 당하는 것 외에도, 발견되지 않은 오류로 인해 동료 연구자들을 엉뚱한 길로 몰아가게 될 수도 있다. 따라서 마냥 비판이 없다거나 비판을 피해갈 기회가 주어졌다는 것이 좋은 일만은 아닌 것이다. 학회에서 발표를 하더라도 아무도 궁금해하지 않는 것보다는 많은 이들이 적극적으로 논박하고 대안적 설명들을 제시할 때 자신의 연구가 급물살을 타게 되는 법이다.여기서 유념할 것은, 연구자가 동료평가에 대해서 지나치게 겁을 먹거나 스트레스를 받을 필요는 없다는 점이다. 특히 대학원생 입장이라면 더욱 그렇다. 자신의 원고를 지도교수님께 보여드릴 때의 긴장감 정도면 충분하다.
단적으로 말하면, 좋은 동료평가는 원고를 가혹하게 쪼아대고 탈탈 털어서 좋은 것이 아니라, 그 연구를 촉진하고 개선할 수 있기 때문에 좋은 것이다. 동료평가의 일차적 목적은 물론 에디터의 판단을 돕기 위함이지만, 실상 리뷰어에게는 어떤 판단을 할 수 있는 권력이 전혀 없다. 심하게 말하면 그냥 감상문 정도에 불과하다(…). 동료평가가 진짜로 가치 있는 이유는 그 이차적 목적에 있는데, 원고의 저자들을 도와준다는 점이 바로 그것이다. 흔한 학술대회에서 포스터 발표를 할 경우조차도, 정말로 도움 되는 코멘트는 포스터의 내용을 신랄하게 비판하는 것이 아니라, 이 연구자가 뭘 의도하고 연구를 시작했으며, 이 연구가 어떤 점에서 그 의도를 담아내는 데 실패했는지, 그리고 이를 개선하려면 어떻게 해야 할지까지 이끌어내는 코멘트인 경우가 대부분이다.[9] 동료평가 결과를 읽으면서 차후 보완방향에 대해 큰 그림이 그려지고 감을 잡게 되었다면, 그 리뷰어에게는 마땅히 감사를 표할 만하다. 반면 리뷰어가 뭐라고 비판을 잔뜩 했는데도 읽고 나서 머리에 남은 게 없다면, 그건 여러분의 문제가 아니라 그 리뷰어의 문제다. 좋은 리뷰어는 비판점이 많다 싶을 때 반드시 그 이면에 있는 근본적인 원인을 찾아내서 이를 바탕으로 그 비판점들을 묶어낸다. 각 비판 항목들이 'Relatedly, ...' 식의 문두로 엮여 있는 게 그 대표적인 사례다.
소위 '가혹한' 리뷰라고 해도 학문 공동체는 기본적으로 어느 정도씩은 완곡어법이 통하는 동네고, 거기도 다 사람 사는 곳이다. 흔히 걱정할 법한 그런 '가혹한' 평가들은 오히려 드물며, 그런 표현들을 동원하는 것 자체가 거꾸로 에디터에 대한 도전으로 받아들여질 수도 있다. 에디터는 분명히 그 원고에서 최소한의 학문적 가치를 읽어냈기 때문에 그걸 리뷰어에게 넘긴 것이기 때문이다. 싸늘한 리뷰는 에디터에게는 오히려 그 원고의 가치를 부당하게 저평가하는 잘못된 리뷰라고 여겨져, 최종 판단에서 철저히 배제될 수도 있고 심지어는 저널 측에서 그 리뷰어에게 다시는 리뷰를 맡기지 않을 수도 있다. 현실적으로 기대할 수 있는 가장 혹독한 평가라고 해 봐야 대충 'some serious concerns', 아니면 'substantial limitations' 같은 표현이 전부다. 그 이상으로는 저널에게도 저자에게도 하등 좋을 게 없다. 설령 과거 몇십 년 전에는 그런 관행이 있었던 학문분야라도 대개의 현대 학문 공동체에서는 연구의 생산성 차원에서 점차 지양하고 있으며, 일부 훈훈한(?) 분야에서는 비판이 많다 싶으면 오히려 에디터가 (최종 판단과 별개로) 저자를 격려해 주기도 한다.
간혹가다 글의 논리를 문제삼으면서 'difficult to follow' 류의 비판을 심하게 늘어놓는 리뷰가 있다면 자신 있게 거르자. 특히나 그 리뷰어가 구체적으로 어떤 문장이나 단락이 이해가 되지 않았는지 명시하지 않았다면 더더욱 마음에 담아 둘 필요가 없다. 물론 한국의 고등교육의 현실이 학술적 글쓰기(academic writing)에 대한 규율이 취약하다는 문제가 있긴 해도, 해외 대학원생들도 글쓰기 때문에 고생하는 건 마찬가지다. 거기서도 일부 랩에서는 아예 교수가 Lit Review 전용 템플릿(…)을 만들어서 대대로 공유하기도 하는 실정. 오히려 문제는 논리전개 실력보다는 퇴고 과정에서 생긴 결함 때문일 수 있다.[10]
하지만 더 큰 문제는 이 경우에도 리뷰어에게 있다. 리뷰어 하는 일이 원래 알아듣지 못할 논리를 어떻게든 알아듣고서 그걸 알아들을 수 있게 다시 쓰도록 도와주는 것이기 때문이다(…). 저자가 찰떡을 개떡처럼 말했을 때 리뷰어는 저자가 찰떡을 떠올렸다는 걸 캐치해서 다른 사람들에게 찰떡처럼 읽힐 수 있는 방법을 알려줘야 한다. 이건 현역 학자들에게도 버거운 지적 활동이다. 학부생 수준에서 예를 들자면, 수업 중에 이 말 저 말 주워섬기면서 질문했을 때 교수가 "아, 그러니까 자네는 ○○주의의 ●●성이 항상 유효할지 궁금하다는 얘기지? 그거 자네가 암묵적으로 ××접근을 가정하고 있어서 그래" 라고 대신 정리해 주고 원인까지 짚어 주었다면, 리뷰 또한 굉장히 잘 하는 유능한 학자일 가능성이 높다. 반대로 회사생활을 배경으로 다른 예를 들자면, 기껏 보고서를 써서 올렸는데 상사가 "이게 죄다 뭔 소리야, 좀 알아들을 수 있는 말로 처음부터 다시 써 와" 라고 한다면, 그 상사는 아마도 무능력한 상사일 가능성이 있다. 심지어 동료평가의 본질을 생각한다면, 보고서를 잘 쓰기 위해 직장 선배나 사수에게 조언을 구했는데 그런 식으로 반응하는 어처구니없는 상황에 오히려 더 가깝다!
물론 바쁜 시간을 쪼개어서 굳이 남의 논문까지 읽고 이해하고 비평하는 고단한 작업을 하는 것에 대해서 모든 리뷰어는 마땅히 감사를 받을 자격이 있다. 그것은 분명히 사실이다. 하지만 저자 입장에서는 그 리뷰어가 비판하는 것을 보면 그 이면에 고단함으로 인한 짜증이 있는지 아니면 동료를 위한 선의가 있는지 느낄 수 있는 것도 사실이다. 어떤 리뷰어들은 특별히 더 큰 감탄과 존경심을 자아내며, 후학들이 자신도 이렇게 리뷰해 주고 싶다는 생각이 절로 들게 만들지만, 전혀 그렇지 않은 리뷰어들도 있다. 여기서의 요지는, 동료평가라는 것이 대부분 가혹한 과정이라기보다는 건설적이고 도움이 되고 연구가 급물살을 타게 되는 계기가 된다는 것이고, 동료평가에 임할 때는 지레 겁먹기보다는 내 연구에 전환점을 만들어 줄 좋은 리뷰어와의 인연을 기대해 봐도 괜찮다는 것이다. 투고 전에는 남부끄러운 누더기 원고라고 생각했다가 좋은 비판을 받고 나서 거꾸로 자신감이 확 올라가는 경우도 분명히 존재한다.
2.2. 기간
심사에 오랜 시간이 걸린다면 심사위원이 게을러서 그렇거나(…), 혹은 의견을 주기가 너무 애매해서 준비시간이 오래 걸리거나 하는 이유인 경우가 많다. 또 품질이 나쁘고 가독성이 떨어지는 논문의 경우에는 리뷰어들이 읽기 싫어하기 때문에 리뷰가 오래 걸리는 경우가 많다. 자신의 논문이 이상하게 지체되는 것 같다고 느껴지면[11] 정중히 문의해 볼 수도 있다. #문의 메일 견본(영어)논문의 품질이 매우 나쁘면 광탈하기 때문에 심사가 짧게 끝난다. 그리고 거절률이 높은 저널에서는 투고된 논문의 50~70% 정도는 내용을 읽어보지도 않은 채 버리기 때문에 심사가 짧게 끝난다.
학문분야에 따라 기간이 차이나는 데 대한 연구가 있는데 탑저널 기준 1999년에 투고-Final Resubmission까지 Physical Rev. B (물리학) 1.3개월, 생물학 '셀' 2.2개월, 재료공학,전기공학,수학,철학 약 5개월, 통계학, 심리학 약 18개월, 경제학 약 26개월이 소요되었다. 1975년보다 1999년이 훨씬 심사기간이 길어진 것도 확인할 수 있다. 2017년에는 더욱 길어졌을 것이다.
2.3. 심사 과정
단순한 논문 형식상의 문제는 IMRaD Format 문서 참조.심사과정이 완전히 블라인드일 경우 교수든 동네 초등학생이든 간에 논문을 제출하기만 했다면 동등한 기준으로 판단한다. 이 때문에 황당한 일도 일어나는데, 자기가 특정 학술지에 제출한 논문이 reject됨과 동시에 자신을 해당 저널의 심사위원으로 위촉하고 싶다는 요청을 받은 경우도 있다고 한다 [12].
이하의 서술에서 참조한 부분은 다음과 같다. 의약화학 분야의 심사 체계는 고훈영, 『SCIENCE』의 함정 수사(sting operation): Bulletin of the Korean Chemical Society(BKCS)의 대처, 화학세계 2013.11을 참조하였다. 이비인후과 분야(임상의학)의 심사는 동헌종 (1999)이 한국이비인후과학회지 6개월 심사위원 경험을 바탕으로 저술한 워크숍 자료집을 참조하였다. 기술경영 분야의 학위논문 심사는 한양사이버대학교 이지은 교수 (IT MBA, 기술경영 강의자)의 강의를 참조하였다. 산부인과(임상의학)의 심사 코멘트는 심사평을 참조하였다. 원고 편집인이 손 대는 범위에 대해서는 2009 워크숍 참조.
원고편집인 선에서 탈락[13]
1. 표절 방지 프로그램: Copy Killer, CrossCheck, iParadigm 등 프로그램을 일단 한 번 돌린다. 이 단계에서 걸리면 심사위원 손에 가지도 않는다. 특히, 문제가 커진 경우 이 표절 저자의 논문은 그 저널에 영원히 등재가 안 되는 블랙리스트에 오를 수도 있다. 적절한 인용 양식에 대해서는 인용/스타일 문서 참조.
2. 중복 게재 확인
주저자, 논문 제목, 연구실, 주저자가 그동안 투고한 유사 연구 논문 등을 구글링 하여 다른 저널에 동시에 투고하였거나 이미 발간된 것은 아닌지 확인한다. 1차 검증을 통과한 논문을 검색하였더니 다른 국가의 저널에 투고된 것으로 나온다면 거절된다.
첫번째 심사위원 선에서 탈락[14]
1. 커버레터, 제목, 초록, 키워드 단계에서 사전심사 탈락(desk rejection)[15]
유명한 학회지에는 수많은 심사 요청이 들어온다. 네이처의 경우 연간 11,000건 들어오면 2/3은 '전문성 부족, 협소한 분야의 성과, 참신함 부족, 자료의 과대해석' 등의 이유로 빠르게 거절하고, 남은 1/3을 심사해 최종적으로 8% 정도를 수락한다. Lancet 역시 50% 정도는 심사 없이 바로 거절하고 최종적으로 10% 정도만 받는다. 따라서 이런 곳에서는 커버레터, 제목, 초록이 부실하면 본문은 읽어보지도 않고 며칠만에 탈락시킨다. 탈락 이유는 '기존 문헌에서 뚜렷이 발전된 부분이 없다' 등 두루뭉실한 이유를 댄다. 이 때 심사위원보고 '아니다! 분명히 발전된 부분이 있다! 그러니 제발 한 번만 본문을 읽어달라'고 간청하는 것은 전혀 의미가 없다.
초록에는 '연구의 목적과 목표에 대한 설명', '연구 방법 및 결과', '연구에서 도출된 결과' 등이 빠짐없이 기술되어야 하며 설득력있게 연결되어 있어야 한다. 그리고 커버레터는 단순히 요약에 그쳐서는 안 되며 '참신성, 연구의 가치, 그것이 저널 독자들에게 흥미를 끌 이유 (유용성 등)'을 설명해야 한다. 초록과 커버레터는 가장 마지막 단계에 작성되는 경우가 많은데, 투고를 서두를 경우 대충 작성되는 경우가 있다.
이전에 실렸던 연구와 굉장히 비슷한 연구를 새로 내놓을 경우, 차이점에 대해 커버레터에 언급해 주는 것이 좋다.
꼭 사전심사 탈락이 아니더라도 커버레터, 제목, 초록은 중요하다. 적절한 심사위원에게 논문을 건네주어야 논문의 진가를 알아볼 수 있는데, 별 관련 없는 분야의 심사위원에게 넘겨주면 '쓸모없다'는 이유로 거절될 수 있다.
2. 논문 분야의 적합성
특정 분야만 다루는 저널의 경우 그 분야의 논문인지 타당성 검토를 한다. 저널에서 다루지 않는 분야는 우수한 논문이든 뭐든 접수를 하지 않는다. 논문 심사를 담당할 만한 전문분야의 인력을 가지고 있지 않기 때문이다. 이 문제를 일으키지 않기 위해서는 평소에 그 저널에 실린 논문들을 조사해서 관련 분야가 맞는지 확인해야 한다.
의약화학 분야에서는 의약과 관련된 유기화학 합성 분야, 유기 합성으로 만들어진 화합물의 생물 활성에 관한 부분들을 검토한다. 천연물의 구조가 그림으로 제시되어 있으면 Scifinder로 검색을 해서 실제 구조를 확인한다. 이 단계에서 실제 구조와 논문에 제시된 구조가 전혀 다르면 그 단계에서 심사를 중단한다.
- 논문에서 기술한 생물 활성 합성 화합물이 화학적인 면 (구조, 합성) 및 생물학적 활성 시험 결과가 있는지 검토한다.
- 논문이 생물활성 천연물일 경우 논문에 생물활성 데이터가 기술되었는지 확인하고, 합성 화합물의 구조와 1차적인 구조 활성 연구가 수행되었는지 검토한다. 예를 들어 유기화학적인 부분 말고도 화합물의 구조, 생물활성과의 QSAR, 분자 모델링, 화학정보학 등을 같이 심사하게 된다.
- 생물활성 천연물이 새로운 구조의 화합물이고 단지 구조 확인만 하는 논문인 경우 비합성 유기화학 분야 편집위원에게 전달한다.
- 일부 생물활성 고분자는 고분자화학 분야 편집위원에게 전달한다.
3. 신규성(독창성) 검증
일단 관련분야 논문으로 검증이 되면 논문을 읽는다. 참고 문헌에 기존 관련 논문이 인용되었는지 살펴본다.
독창성의 기준이라면 논문의 목적, 연구대상, 재료의 크기, 방법, 결론, 결과 등을 들 수 있다.
의약화학 분야의 경우 Scifinder를 이용하여 유사 화합물 구조, 합성 방법의 유사성, 그런 구조 화합물의 기존 생물활성 데이터, 관련 논문 검색 등을 통해 1차 검증을 해서 많은 논문들을 걸러낸다.
임상의학(이비인후과)의 경우 게재불가되는 가장 흔한 유형은 증례보고에서 희귀성이 결여된 경우이다. 흔한 질환이나 특별히 새로운 치료법이 아닌 증례를 보고하면 기존에 발표된 논문을 근거로 하여 불가 판정을 내린다.
경영학, 간호학 등 현실과의 관련이 높은 학문분야에서는 연구결과가 실무, 연구, 교육 및 정책 반영에 기여하는지 역시 심사 요건이다.
독창성에 대한 기준은 심사위원마다 차이가 크기 때문에 한 곳에서 게재불가인 것이 다른 곳에서는 괜찮은 경우도 많다. BKCS의 의약화학 분야의 분자 모델링의 경우 저자들이 직접 합성을 하지 않은 것, 생물활성 시험 데이터가 포함되지 않은 것, '남이 이미 논문으로 발표한 화학구조나 생물활성 데이터를 가지고 만든 것이지 저자가 직접 실험하여 얻은 것이 아닌 것'은 거절되고 있다. 임상의학의 경우 외국에서 기존에 발표된 임상결과나 수술기법을 국내에서 처음 시도한 경우, 외국에서는 수술기구를 이미 사용하고 있지만 국내에서는 새로운 기구를 처음 사용한 경우, 외국에서는 결과가 논문으로 발표되었지만 국내에서는 보고가 없는 경우 등은 거절하는 사람도 있고 accept하는 사람도 있다.
4. 형식 및 외국어
외국어는 원어민(네이티브 스피커)에게 교정을 거치는 것이 좋다. 논문/형식의 경우 형식을 잘 맞춰서 쓰되 논문 전문 편집인에게 맡기는 것이 좋다.
5. 진실성 검증
데이터가 미비한 경우, 데이터가 절대 나올 수 없는 경우 (데이터가 실험을 거친 것이 아니라 손으로 쓴 것이 의심되는 경우) 진실성 검증을 통과하지 못한다. 가령, 실험 결과 사이에 일부 서로 배치되는 부분이 있다면, 통계적인 유의함을 만들기 위해 grouping을 자의적으로 만들었거나 사기를 치고 있을 가능성이 있다.
의약화학 분야의 생물활성 데이터의 경우 어떤 생물체에 대해서 하였는지, 방법이 구체적으로 기술되었는지 보게 된다. 생물 활성 시험은 특정 질환 관련 효소나 수용체에 대한 활성 시험을 해야 하며, 특정 질환에 활성이 있다고 주장하지만 관련 목표 단백질에 대한 데이터가 없을 경우 거절된다.
이비인후과의 경우 흔히 사용되는 내시경의 직경이 4mm나 2.7mm인데 뜬금없이 3mm를 사용한 것을 들고 오면 진실성에 대한 의심을 사게 된다. 어느 회사의 어느 제품인지 질의하여 의심스러우면 거절된다.
사람을 대상으로 한 연구는 연구목적에 맞는 연구대상자를 선정하였는가가 중요한 기준이다. 이비인후과의 경우 임상환자를 대상으로 한 경우에 선택기준(inclusion criteria), 제외기준 (exclusion criteria)가 불명확하거나 대상선정이 논문의 목적에 맞지 않을 때 반드시 거절한다. 이는 연구방법 상의 중요한 오류이기 때문에 조금 수정하는 정도로는 통과하기 어렵다.
의료 관련 학문에서는 연구윤리를 어기면 심사 대상이 아니다.
그 외에 조금 애매한 부분도 있을 수 있다. 이비인후과의 경우 primer를 그릇되게 선택하거나 antibody가 비특이적인 경우 등 재현성이 떨어지는 경우 고심끝에 불가 판정이 내려질 수 있다. 이는 심사위원마다 다르므로 다른 저널에 제출하는 것이 좋다.
실험 결과를 잘못 해석하거나 과대 해석한 경우 revision 정도로 게재할 수 있는 경우가 많다.
매우 새로운 내용, 매우 어려운 내용의 경우 심사위원도 이해하기 어려운 경우가 있다. 아주 중요한 주제라서 반드시 이해해야만 하는 내용이라면 그리고리 페렐만의 케이스처럼 몇 년의 시간을 두고 검증하겠지만, 시덥잖은 주제로 보인다면 그런 정성을 들이기보다는 'Introduction이나 Discussion이 부실하다'는 이유로 거절하는 게 손쉽다. 그래서 특이한 방법론을 쓸 때는 왜 그걸 써야만 하는지 설명해주고 그 방법의 사용에 대해 자세히 설명해줄 필요가 있다.
6. 이론적 조망
사회과학 저널에서 "어떤 이론을 배경으로 하겠다는 건지 잘 모르겠다" 거나 "이론적 바탕과 무관한 가설이 포함되어 있다" 는 비평은 리젝을 불러오는 경우가 많다. 정책 보고서 같다는 비판을 받게 된다.
다른 심사위원들과 함께 판단
7. 첫 심사위원이 심사하였을 때 여기까지 통과한 경우 다른 심사위원에게 보낸다. 이 때 첫 심사위원의 의견, Scifinder를 통해 얻은 관련 논문 제목 등을 함께 첨부한다. 다른 심사위원의 손에 들어간 뒤에 탈락하는 것은 소송절차에서 기각과 비슷하다.
8. 수정[16]
- 설문조사에서 selection bias나 small sample로 인해 논문 결과를 일반화할 수 없다고 판단하는 경우가 있다. 표본 수를 늘리라는 요구를 한다. 실증적 연구방법을 쓸 때는 충분한 데이터, 설문조사를 할 수 있는 대상을 충분히 확보하는 것이 문제가 된다. 이 경우 G Power 프로그램을 활용하여 선험적 검정력 분석(a priori power analysis)을 수행하고, 요구되는 크기에 맞는 새로운 표본을 확보, 동일한 연구를 재실시하여 결과가 재현되는지 확인할 수 있다.
- 적절한 단어의 사용.
- 어떤 방법에 중요한 문제점이 있다면, 새로운 방법은 그 문제점을 고려해서 만들어져야 한다.
- 특수한 조건 없이는 할 수 없다면, 일반화해서 말하기에는 무리가 있다.
- 새로운 방법에 대해서 구체적으로 기술해야 한다.
- 핵심적인 문제에 대해서는 길게 써야 하고, 필수적인 사진은 꼭 들어가야 한다. 반대로, 중심 문제와 관계없는 문단의 양은 짧게 줄여야 한다.
- 의학 분과에서는 사례 수가 지나치게 적을 경우 review article로 출간하는 것은 부적절하고 case study로 분류를 바꿔서 출간해야 한다.
2.4. 가상의 예시
논문의 원고를 제출한 후에 어느 정도 시간이 지나면 교신저자의 이메일로 에디터가 답신을 보내오는데, 이·공학계열이 아니라면 그 아래쪽에 어마어마하게 긴 분량의 동료평가 의견서를 주렁주렁 달아준다. 동료평가 의견서를 포함하는 에디터의 전체 답신을 가리켜서 해외에서는 결정서(decision letter), 국내에서는 심사서(審査書)라고 한다. 동료평가에 참여하는 심사자는 대체로 전세계 각국의 교수 3~5명 정도인데, 처음 동료평가를 받아 보면 보잘것없는 원고에 지구 곳곳의 석학들이 이렇게나 길게 의견을 작성해 준 것에 대한 송구스러움이 밀려오기도 할 정도이다. 검토 기간이 그만큼 길게 소요될 수밖에 없었다는 게 충분히 납득이 되는 수준. 그러다가 이런 송구스러움도 리뷰를 받는 경험이 점점 쌓이다 보면 온데간데없어지곤 한다.의견서의 양식은 대체로 두 종류인데, 핵심적인 내용을 우선 언급하고 사소한 내용을 뒤에 언급하는 방식, 논문의 IMRaD Format에 대응시켜서 각각의 단락을 순서대로 짚어가며 의견을 기재하는 방식이 있다. 리비전을 할 때에는 이렇게 짚어주는 항목별로 나누어서 수긍을 하든 반론을 하든 하게 되는데, 일부 항목에 대해서 자신의 원고를 고치는 대신에 그 리뷰어에게 반론하기를 원한다면, 꼭 그 반론의 내용을 에디터에게 알려주어야 한다. 그래야만 에디터도 '저자가 고치려고 했는데 깜박하고 빼먹어서' 기존 서술이 그대로 유지된 것인지, 아니면 '이건 정말로 저자가 자기 생각이 옳다고 생각하기 때문에' 그런 것인지 명확히 이해할 수 있다.
아래는 비(非)과학 분야에서 이루어지는 동료평가의 대략적인 느낌만 전달하기 위한 예시이며, 경성과학에 속하는 이·공학 계열의 동료평가는 이보다 더 짧고 구조화되어 있을 수 있다. 또한, 국내 또는 해외의 커뮤니케이션/문화연구 분야의 학계에서 실제로 아래의 논리로 평가를 한다는 의미도 아니니 주의. 다수의 심사자들이 아래의 양식을 따라 의견을 보내오는데다 에디터가 결정 내용까지 최상단에 추가로 설명하게 되니, 분량으로 말할 것 같으면 전체 결정서의 반의 반의 반도 안 된다.
| 편집자 Dr. ○○○ 님께, 편집자께서 보내주신 원고 "나무위키 토론 서비스에서 나타나는 이용자들의 담론전쟁: 텍스트 분석을 중심으로" 를 읽어보았습니다. 해당 원고에서 저자는 먼저 나무위키가 뉴 미디어로서 갖는 중요성을 강조하고, 담론 분석에 관련된 문헌들을 검토한 후, 나무위키 토론 1건을 사례로 선정하여 질적 텍스트 분석을 실행하였습니다. 분석 결과에 대해서 저자는, 헤게모니적 담론에 기초한 의견에 대해서는 상대적으로 문헌적 근거 입증의 요구가 잘 나타나지 않으나, 헤게모니 전복적 담론에 기초한 의견에 대해서는 문헌적 근거 입증의 요구가 더 철저하게 나타난다고 해석합니다. 이를 토대로 하여, 저자는 나무위키가 그 토론 서비스를 통해서 기존의 헤게모니적 담론을 공고화하는 결과를 초래한다고 주장합니다. 최신의 뉴 미디어 이용경험에 대한 학술적 연구가 부족함을 고려할 때, 저자의 연구는 매우 흥미로우며 의미 있는 시도라고 생각합니다. 그러나 저는 아래에 설명할 몇 가지 우려들로 인하여, 해당 원고에 대해 긍정적인 판단을 내리는 것이 망설여집니다. 편집자께서는 해당 원고에 대해서 게재를 거절하거나 대규모의 교정을 요청할 수 있습니다만, 저는 가급적 게재 거절을 제안합니다. １. 저자는 페쇠의 담론투쟁 이론과 지의 거대담론 개념 사이의 관계성을 명확하게 규정하고 있지 않으며, 나무위키 토론 서비스에서 추출한 텍스트를 분석할 때 두 개념들 사이에서 혼동을 일으키고 있습니다. 저자가 인용한 바 페쇠의 문헌에서는 (Pecheux, 1969) ∼∼∼ 를 언급하고 있습니다. 이것은 나무위키에 접근하고자 하는 저자의 목적의식에 잘 부합하지 않는 것으로 보입니다. 마찬가지로 지의 문헌에서도 (Gee, 1999) 거대담론에 대해서 ∼∼∼ 로 정리하고 있습니다. 비록 저자가 이 문제에 대해서 인식하였으며 연구의 한계점으로 인정하였음에도 불구하고, ∼∼∼ 로 연구가 꼭 진행되어야만 했던 이유가 무엇인지 의문점이 가시지 않습니다. 이 주제에 밀접한 선행문헌인 Author (＃＃＃＃)와 Author (＃＃＃＃)의 경우에도 (둘 다 저자가 인용한 것입니다) 이 개념적 문제에 대해 이미 별도의 섹션을 할애하여 면밀한 주의를 기울이고 있으므로, 저자는 이 두 문헌을 더 중요하게 참고할 수 있을 것입니다. 연구결과를 논의할 때에도 이러한 혼동은 계속해서 반복됩니다... (하략) ２. 저자는 나무위키 서비스에서 1주간 상주하면서 가장 활발하게 업데이트되는 토론을 선정하였다고 하였는데, 그것이 얼마나 정당한 선정이었는지에 대한 설명은 부족합니다. 그 사례는 나무위키 토론 서비스에서 1주 이내에 관찰되는 가장 전형성 높은 담론투쟁의 사례였기에 선정된 것입니까? 아니면, 1주 이내의 나무위키 토론 서비스에서 가장 극단적인 담론투쟁이 관찰되었기에 선정된 것입니까? 그도 아니라면, 담론분석이 가장 용이한 이상적 사례이기에 선정된 것입니까? 사례의 선정과 관련하여 Yin (2009) 은 ∼∼∼ 와 같이 제안하고 있습니다. 저자는 단일 사례의 정당성을 입증하기 위해 다회적 사례연구를 채택하여 보완할 수 있으나, 이 경우 연구 결과가 갖는 함의는 달라질지도 모릅니다. ３. 저자는 텍스트 분석을 위해 문헌 검토 중에는 고찰하지 않았던 네트워크 분석의 몇몇 논리를 빌려옵니다. 그러나 네트워크 분석이 연구 대상이 되는 텍스트의 성질에 얼마나 적합한지에 대한 정당화는 확인되지 않습니다. 수집된 텍스트를 네트워크의 관점에서 해석하는 것은 유의미하나, 저자가 그것을 담론분석의 일부로서 차용하는 과정은 의문스럽습니다. 아울러, 저자는 질적 네트워크 분석의 논리를 따르고 있음을 명시하지만, 수집된 텍스트에 의미를 부여하는 과정에서는 일부 양적인 기준을 채택합니다. 뉴 미디어를 대상으로 질적 네트워크 분석을 시도하는 문헌들로는 Author (＃＃＃＃)와 Author (＃＃＃＃) 를 들 수 있으며, 참고할 만한 방법론 교과서로는 Author & Author (＃＃＃＃) 가 있습니다. 만일 저자가 담론분석과 네트워크 분석의 혼합연구를 의도하고 있는 것이라면, 다음의 절차를 따를 수 있을 것 같습니다. (어디까지나 리뷰어 개인의 분석 스타일이므로 참고만 하시기 바랍니다!) 우선 데이터를 코딩할 때에는... (하략) ４. 저자가 이미 연구의 한계점들을 여럿 나열하였음에도 불구하고 끝까지 남는 의문은, 나무위키 토론 서비스에서 나타나는 담론투쟁의 결과로 인하여 기존의 헤게모니적 담론이 전복되거나 최소한 균열이 가게 될 가능성이 있는가 하는 것입니다. Author (＃＃＃＃) 의 문헌에서는 담론이 권력의 지배 도구로만 묘사되는 것을 인식론적 한계로서 지적합니다. 저자가 직접 분석한 텍스트 중에서도, 이를테면 ●● 와 ☆☆ 는 헤게모니 전복적 담론이 나무위키 이용자들 사이에 생각의 전환을 유발시키는 사례들로서 특별한 주목을 받을 만해 보입니다. 그러나 저자는 이에 대해 별다른 논평을 하지 않습니다. 아마도 이것은 그 이용자들이 ∼∼∼ 였으므로 일시적으로 담론적 권력을 가졌기 때문일 수 있습니다. 이 경우 Author (＃＃＃＃) 의 문헌에서 얻어진 정반대의 결론과도 이론적인 타협점을 찾아야 할 것입니다. 아래는 기타 사소한 교정 사항들입니다. ５. "이와 같은 방식으로 그들은 헤게모니적 담론의 존재를 인식하면서도 비껴 간다." (p.21, 10행) 이 문장은 주어를 이해하기가 어렵습니다. 여기서 말하는 '그들' 이란 나무위키 이용자 전체를 말하는 것입니까, 아니면 헤게모니적 담론을 지지하는 이용자들을 말하는 것입니까? ６. "이 이용자는 이후 기본적인 동의의 표현만을 나타냈다." (p.22, 8행) 이 문장에서 말하는 '기본적인 동의의 표현' 이 무엇인지는 부록에서 확인할 수 없습니다. 저자는 독자들이 토론의 전체 로그를 모두 열람할 수 있도록 해야 합니다. ７. 그림자료 2번 내부의 강조선은 무엇을 무엇과 함께 강조하고자 하는 것인지 알기 어렵습니다. a) 에서 c) 까지 모두 강조하는 것인지, 아니면 b) 를 제외한 a) 와 c) 만을 강조하려는 것인지 더 명확히 해야 합니다. ８. 상기한 3번 요점과 연결되어 있습니다만, 표 1번에서 마치 양적 네트워크 분석을 하듯이 ★★ 값의 가중치가 보고되어 있습니다. 이 숫자들은 분석 과정에서 큰 의미를 갖지 않음에도 불구하고 함께 보고되고 있어서 독자를 혼란에 빠뜨립니다. 숫자들을 삭제하거나, 숫자들이 분석에서 갖는 의미를 보다 명확히 거론해야 합니다. 이 원고를 평가할 기회를 주신 편집자께 감사드립니다. Sincerely, Reviewer 1 |
[1] 그림은 고대 형벌의 일종인 건틀릿을 패러디한 것이다.[2] 현장에서 뛰는 과학자들이 가장 공감할 법한 '과학다움' 의 정의이기도 하다. 과학철학에 큰 관심 없이 자기 연구에만 몰두하는 과학자들은 "무엇이 과학적인가" 라는 질문을 받으면 머릿속에 막연히 떠다니는 지적 엄격함의 느낌을 쉽게 말로 풀어서 설명하기 쉽지 않지만, 한편으로는 그것을 숨 쉬듯이 자연스럽게 자신의 논문에 녹여내곤 한다. 폴라니가 지적하는 것은, 과학이 과학이기 위한 기준은 명시화될 수 있는 체크리스트 같은 게 아니며, 이처럼 현장에서 체화할 수 있는 노하우(knowing-how)의 영역에 속해 있다는 것이다.[3] 예: 제임스 듀이 왓슨과 프랜시스 크릭의 DNA 발견 논문[4] 사실 이것은 투고자 입장에서는 좋은 제도이지만, 동료평가를 해주는 심사위원들에게는 가혹할 수 있다. 투고자들의 입장에서 동료평가를 해 주었으면 하는 연구자는 대개 그 분야의 유망하거나 이미 유명한 인물인 경우가 많고, 결국 한정된 수의 유명한 일부 연구자들이 더욱 혹사당하게 되기 때문이다. 이는 투고자가 그 분야 연구자들을 전부 알지 못한다는 한계 때문이기도 하지만, "기왕이면 실력과 명망이 있는 분이 내 논문을 첨삭 지도해 주었으면" 하는 심리 때문인 것이 더 크다.[5] 연구 역사가 깊은 데다 한창 인기가 있어서 엄청나게 많은 학자들과 연구자들이 갈려들어가는 유명한 분야들에서 이런 극악한 사례가 있을 확률이 높다.[6] 달리 말하자면 교수라는 최고의 지식인 집단에게, 그것도 단순히 자문도 아니고 정말 본격적이고 전문적인 수준의 피드백을, 심지어 (게재 성공 시의 게재료를 제외한다면) 아무런 대가 없이 제공받는다는 엄청난 기회가 바로 동료평가다. 사람이 자기가 품은 생각을 이렇게 럭셔리한 방식으로 평가받을 기회는 평생을 통틀어 봐도 절대로 많지 않다. 흔한 자문료만 생각해 보더라도, 현직 교수들이 A4용지 한 장짜리 한글 문서에 휘갈겨 써 준 글뭉치 하나 받기 위해서 교수에게 지불해야 하는 자문료는 웬만한 사람들의 예상 이상으로 높다.[7] 물론 이것도 원칙적으로 말하자면 논문 저자의 책임이 작지 않다. 교수라는 사람들은 제각기 자기 생각에 골똘히 빠져 있는 사람들이고, 그런 사람들을 대상으로 하는 논문이라는 매체는 그만큼 확고한 논리로 상대방의 관심을 내가 지금 주장하려는 내용으로 끌고 올 수 있어야 한다. 따라서 리뷰 내용이 그 원고의 핵심 문제의식에 대해 맥을 못 잡았거나 자기 주장만 일방적으로 늘어놓는다면 그것은 그 사람이 그 원고에 집중하지 못했다는 것이고, 다시 말하면 원고의 저자가 독자를 사로잡는 글쓰기에 실패했다는 얘기도 된다. 물론 이걸 극복할 정도의 경지에 도달하려면 석사생 수준에서는 택도 없고, 나무위키에서 정보를 얻는 시간보다 동료 연구자들과의 모임에서 정보를 얻는 시간이 훨씬 더 길어야 할 것이다.[8] 만일 세 명에게서 리뷰를 받았는데 세 사람 모두 똑같은 피드백을 준 지점이 있다면, 그 부분만큼은 반드시 수용해서 원고를 고쳐야 한다. 연구자들은 다 제각기 자기 학문적 색깔이 있어서 동료들과 차별화를 하면서 밥벌이를 하는 사람들인데, 그런 사람들이 다 입을 모아서 똑같은 지적을 하게 만들었다면 원고의 그 부분만큼은 기초적인 문제가 확실히 있다는 얘기다. 그건 그 세 사람들만의 돌출된 의견이 아니며, 세상의 연구자들 백 명, 천 명에게 물어봐도 절대 다수가 똑같은 의견을 낼 거라고 생각해도 된다. 그런 원고가 제대로 된 저널에 게재될 리 없으며, 설령 게재된다 해도 좋은 소리 듣기는 만무하다.[9] 보통 석사 1~2학기차 즈음의 대학원생들이 교내 세미나에서 학술적 비판을 할 때 착각하기 쉬운 부분이다. 석사 1학기차 학생도 흔한 연구의 문제점은 얼마든지 집어낼 수 있다. 하지만 그 연구를 체계화시켜 주는 것은 아무나 하는 게 아니라는 것을 직접 논문을 쓰며 뒤늦게 깨닫게 되는 것이다.[10] 논문은 각 문장들의 내적 논리가 극단적으로 정교하게 짜여진 글이기 때문에, 원고 초안을 아무리 멋들어지게 썼더라도 저자들 사이를 오가며 이곳저곳 뜯어고치는 걸 반복하다 보면 반드시 어딘가에서 아귀가 안 맞는 지점이 발생한다. 그건 정말로 어쩔 수 없다. 마치 아무리 검토해도 어딘가에서 꼭 오류를 뱉어낸다는 프로그래밍의 고충과도 유사한 점이다. 그래서 적잖은 연구실에서는 원고의 집필을 만만한 박사생 한 명에게 전담시키고 교수들끼리는 수다만 떨곤 한다.[11] 분야마다 다르겠지만 계절 하나 지나가도록 under review 상태인 경우.[12] 이런 경우 약탈적 학술지일 가능성을 약간은 의심할 필요가 있다.[13] 저널의 수준이 낮을 경우 이런 절차 역시 첫 심사위원이 담당한다. 형식적으로는 그렇고, 실제로는 해당 심사위원이 교수일 경우 그 교수 밑의 대학원생이 원고편집인의 역할을 대신하게 된다.[14] 소송절차에 있어서 각하와 비슷하다.[15] 에디티지: 초록의 중요성[16] 소송절차에서 석명준비명령, 보정명령 등과 비슷하다.