지난 호 보기

#Interview

“TOEIC Speaking and Writing Tests 채점…
독자적 방식으로 객관성, 효용성 유지”

[일본 IIBC 뉴스레터] ETS 관계자 인터뷰


전 세계 180여 개국에서 쓰이는 TOEIC Program. 높은 활용도 만큼 TOEIC Program에 대한 수험자들의 관심도 높다. 얼마 전, 일본 TOEIC 시행기관인 IIBC(The Institute for International Business Communication)에서 ETS 관계자 Dr. Feng Yu와 Mrs. Magali Daumas를 만나 ETS의 독자적인 채점 Program에 관해 이야기를 나눴다. IIBC 뉴스레터 135호에 실린 ETS 관계자의 인터뷰 기사 전문을 소개한다.

* TOEIC Program : TOEIC Listening & Reading Test, TOEIC Speaking & Writing Tests



TOEIC Program은 영어의 4대 커뮤니케이션 능력 향상에 도움이 된다


TOEIC Program은 영어의 4대 영역을 균형 있게 습득하는 데 어떻게 도움이 되나요?

Mrs. Magali Daumas   영어로 능숙하게 의사소통하는 능력을 습득하면 개인의 활동 범위가 넓어진다는 것은 모두에게 알려진 사실입니다. 영어를 구사하면서 논리정연하게 커뮤니케이션하기 위해서는 언어의 수동적 능력(L&R)을 사용하여 정보를 정확하게 이해하고(Input) 능동적 능력(S&W)으로 적절한 메시지를 전달(Output)해야 합니다. TOEIC Listening & R eading(L&R)과 TOEIC Speaking & Writing(S&W) 시험을 통해 4대 능력을 측정하고 폭넓은 의사소통이 가능한지 명확하게 파악할 수 있습니다.


독자적인 채점 방식을 통한 시험 신뢰도 확보

독자적인 방식으로 TOEIC Speaking & Writing(S&W)을 채점하는 이유는 무엇입니까?

Dr. Feng Yu   ETS에서는 70년 이상 채점 방식을 개발해 왔고, 채점 과정에서 ‘휴먼 에러(Human error)’가 발생할 수 있다는 점도 인지하고 있습니다. 특히 영어 말하기와 쓰기 시험의 채점일수록 그러한 경향이 강하게 나타납니다. 따라서 편견, 선입견을 포함한 주관성을 최소한으로 줄이기 위해 다양한 채점 방식을 개발해 왔습니다. TOEIC Speaking & Writing(S&W)의 답변은 ONE(Online Network for Evaluation)이라는 시스템을 통해 이뤄지고, ETS의 훈련을 받은 검증된 채점자가 여기에 참여합니다. 채점은 문항별로 무기명으로 진행됩니다. 수험자마다 Speaking과 Writing에서 각각 최소 3명이 채점을 하게 되어 있지만, TOEIC S&W의 경우 평균적으로 10명의 채점자가 각 문항의 채점을 진행하고 있습니다. 채점자는 담당 문항이 아닌 다른 문제의 점수에 대해서는 알 수 없습니다. 채점자에게 수험자의 개인 정보를 알려주지 않고, 채점할 문항을 랜덤으로 할당합니다. 즉, 이러한 채점 방식의 특징은 수험자가 한 명이라 해도 채점자는 여러 명이어서 채점자 한 명에 의해 편중된 채점이 이루어지는 것을 방지할 수 있다는 것입니다. 또한, 각 채점자는 매일 채점의 정확성을 측정하는 calibration test를 통과해야 하고, 이 테스트를 통과하지 못하면 해당일에 채점할 수 없습니다.



TOEIC S&W 채점 방식의 또 다른 특징은 무엇입니까?

Dr. Feng Yu   TOEIC S&W만의 특징은, 문항별로 구체적인 채점 기준이 있다는 것입니다. 모든 채점자는 채점 기준을 엄격히 따르고 있습니다. 각 채점 기준은 스코어 포인트를 0~5점 등 숫자로 정함으로써 채점의 정확성을 최대한으로 높이고 있습니다. 점수 범위가 0~2점 등으로 좁을 경우에는 수험자의 점수 분포를 충분히 고르게 할 수 없기 때문에 채점이 정확히 이루어졌다고 할 수 없습니다. 반대로 0~8 등의 넓은 범위로 설정하면, 채점의 정확성이 떨어지고 나아가 시험의 전반적인 신뢰성을 잃을 수 있습니다. 그렇기 때문에 TOEIC S&W는 ETS 전문가에 의한 정성·정량 분석의 결과를 바탕으로 가장 적정하다고 판단된 결과값인 0~3,4,5(문항에 따라 상이)를 스코어 포인트로 사용합니다.



검증된 채점자를 통한 채점 퀄리티 유지

채점자를 채용하는 기준을 설명해 주세요.

Mrs. Magali Daumas   TOEIC Program 채점자는 정식으로 인가받은 대학 학사 이상의 학위를 취득하고, ESL 등 비영어권 학습자를 지도한 경험이 있어야 합니다. 가장 첫 단계인 채용 심사를 통과하면 채점자 훈련을 받습니다. 훈련 후에는 정식 TOEIC Program 채점자가 되기 위해 인증 테스트를 통과해야 합니다. ETS 채점전문가가 이 모든 과정에 깊이 관여하여 유능한 인재를 채용하고 있습니다.




채점자는 채용 이후에도 상시 테스트를 받습니까?

Dr. Feng Yu   그렇습니다. 조금 전에 채점 과정에 관해서 이야기하면서 ‘calibration test’를 언급했습니다. 채점자는 채점의 정확도를 측정하는 이 테스트를 매일 통과해야 합니다. 문항마다 가이드라인에 따라 채점을 해야 하는데 채점분배를 받더라도 이 테스트에 통과하지 못하면 해당 일에 채점할 수 없습니다. ETS 채점 스태프는 [채점자], [Scoring Leader], [Chief Scoring Leader], [ETS Assessment Specialist]라는 총 4단계의 직책으로 나뉩니다. TOEIC S&W 채점자의 작업 현황은 대체로 Scoring Leader가 모니터링을 하면서 정확하고 완전한 채점 작업을 목표로 하고 있습니다. Scoring Leader와 문제 개발 담당자는 채점 중 또는 채점 완료 후 통계적으로 채점자의 작업 상황을 모니터링 합니다. 성적 발표에 앞서, 통계전문가는 모든 점수 결과를 상세히 조사하고 분석합니다.



전문성과 영어를 통한 커뮤니케이션 능력을 요구

일본뿐만 아니라 전 세계적으로 TOEIC Program 수험자가 증가하고 있습니까?

Dr. Feng Yu   네, 전 세계적으로 증가하는 추세이며 현재 수험자 수는 약 700만 명입니다. 성적 결과는 약 160개국, 14000여 개 기업과 단체에서 활용되고 있습니다. 글로벌 기업과 단체들은 자원 확보와 시장 점유 경쟁을 합니다. 인재를 채용하고 HR을 관리하는 것은 꼭 필요합니다. 지금까지는 특정 분야와 기술에 대한 전문성을 가진 인재를 채용하는 것이 최우선이 되었지만, 이제는 전문성뿐만 아니라 글로벌 시대에 통용될 수 있는 커뮤니케이션 능력을 갖춘 인재가 필요합니다. 미디어 기술과 커뮤니케이션 수단이 매일 발전하고 있는 가운데, 통역가 혹은 번역가를 비즈니스 실무 현장에서 활용하는 일은 점차 줄어들고 있습니다. 반면 비즈니스 당사자들이 직접 영어로 의사소통을 하는 경우가 많아지고 있다고 합니다. 이러한 경향은 TOEIC Program 활용의 증가에도 영향을 주고 있습니다.



국제 행사에서도 활용되는 TOEIC Program

국제적인 이벤트에서 TOEIC Program은 어떻게 활용되고 있습니까?

Mrs. Mag ali Daumas   과거 올림픽에서도 TOEIC Program을 수차례 활용했습니다. TOEIC Program은 자원봉사자들의 영어 능력 평가 기준 또는 성적 결과에 따라 업무를 나눌 때 등에 활용되었습니다. 올림픽에서 TOEIC Program을 활용한 역사는 1988년 서울올림픽을 시작으로 현재에 이릅니다. 이 외에도 TOEIC Program은 다양한 국제행사에서 활용되고 있습니다. 2013년 브라질에서 열린 FIFA Confederations Cup/브라질 대회와 같은 스포츠 행사부터 중국과 한국에서 열린 G20 외무장관회담, 러시아에서 열린 APEC 정상회담 등 정치 회합, 회의 등에서도 활용되었습니다. 또한, 오는 2020년 UAE에서 열리는 두바이 국제박람회(두바이 만국박람회)에서는 택시 운전사의 영어 능력을 측정하기 위해 TOEIC Bridge test를 활용하기로 했습니다.


매일 꾸준히 영어 연습하는 것이 중요

마지막으로 영어 학습자들에게 한 말씀 부탁드립니다.

Dr. Feng Yu   영어 능력을 기르기 위해서는 매일 연습을 꾸준히 하는 것이 중요합니다. 다른 능력을 기를 때와 같습니다. 스포츠 스타가 하룻밤 만에 만들어지지 않는 것처럼 영어도 마찬가지입니다. 어떤 능력이든지 숙달되기 위해서는 노력과 끈기가 필요합니다. 영어로 커뮤니케이션하는 빈도를 가능한 한 많이 만들기, 다양한 상황에서 연습하기, 지인과 영어로 이야기하거나 영어 방송 보기, 영어책 읽기 등 다양한 기회를 잘 활용해야 합니다. 또한, 틀리는 것을 두려워하지 마세요. 틀리는 것은 많이 배울 기회이기도 합니다.

Mrs. Magali Daumas   TOEIC Bridge test 또한 2019년부터 S&W이 추가되어, 4개 영역을 측정하는 시험으로 확대, 진화합니다. 오늘날 글로벌 시대에서의 영어의 활용 현황과 커뮤니케이션을 이용한 업무 처리능력을 더욱 잘 반영한 시험으로 거듭날 예정입니다. 영어 초·중급 학습자는 TOEIC Bridge test를 시작으로 4개 영역에 익숙해진 후, TOEIC 시험까지 응시할 수 있게 되길 바랍니다.



위로 가기