1. 개요
영국의 대학 서열화를 다루는 문서.2. 상세
영국은 명망있는 대학들을 한데 묶어 지칭하는 몇가지 그루핑이 존재한다. 영국의 최상위 2개 대학교를 지칭하는 옥스브리지 그루핑이 있으며, 옥스브리지에 런던 정치경제대학교, 임페리얼 칼리지 런던, 유니버시티 칼리지 런던을 포함하여 G5[1]라 부르기도 한다. 또한 영국 동남부의 6개 연구중심 명문 대학교들을 지칭하는 골든 트라이앵글[2]과 영국에서 가장 보편 명사화 되어 있는 명문대의 상징인 러셀 그룹(Russell Group)[3]이란 그루핑이 존재한다. 더불어 영국에서 가장 젊고 내실있는 19개의 소규모 연구중심 대학들이 모여 설립한 1994 그룹도 있었으나 현재는 해체되었다.3. 시사점
Which is the best university? League tables, aka rankings, is the nonsensical answer you’re likely to get.
They weigh the wrong factors
The data is poor: the NSS component was downgraded after an NUS boycott undermined it.
최고의 대학은 어디인가? 랭킹이라 불리는 리그 테이블(League tables)[4]The Guardian University Guide, Good University Guide, 그리고 The Complete University Guide를 지칭함]은 그 질문에 대해 당신이 얻을 수 있는 가장 무의미한 대답일 것입니다.
그들은 잘못된 평가항목에 가중치를 부여합니다.
그들이 평가에 활용하는 데이터 또한 올바르지 않습니다: 영국 총 학생회(NUS)가 NSS를 보이콧 한 이후로 그 데이터의 가치는 더 악화 되었습니다.
- Johnny Rich, Chief Executive of the Engineering Professors’ Council. 국내 평가기관들과 TEF를 비판하며.
They weigh the wrong factors
The data is poor: the NSS component was downgraded after an NUS boycott undermined it.
최고의 대학은 어디인가? 랭킹이라 불리는 리그 테이블(League tables)[4]The Guardian University Guide, Good University Guide, 그리고 The Complete University Guide를 지칭함]은 그 질문에 대해 당신이 얻을 수 있는 가장 무의미한 대답일 것입니다.
그들은 잘못된 평가항목에 가중치를 부여합니다.
그들이 평가에 활용하는 데이터 또한 올바르지 않습니다: 영국 총 학생회(NUS)가 NSS를 보이콧 한 이후로 그 데이터의 가치는 더 악화 되었습니다.
- Johnny Rich, Chief Executive of the Engineering Professors’ Council. 국내 평가기관들과 TEF를 비판하며.
영국 대학들에 대해 판단하려면 반드시 짚고 넘어가야 할 점이 있다. 영국 대학들의 순위는 크게 자국내 대학 순위와 세계 대학 순위에 따라 차이가 크기 때문에 어떤 곳에 중점을 두느냐에 따라 대학 서열이 다르게 나타난다는 것이다. 국내 대학 평가 기관으로는 더 가디언이 발간하는 The Guardian University Guide, 더 타임스와 선데이 타임스가 공동으로 발간하는 Good University Guide, 그리고 The Complete University Guide (CUG) 등이 있다. 반면, 세계 대학 평가기관으로는 QS 세계 대학 랭킹,[5] ARWU, U.S. 뉴스 & 월드 리포트, THE 세계 대학 랭킹, CWUR 세계 대학 랭킹등이 있다.[6][7]
| {{{#!folding 2022 CUG 순위 [ 펼쳐 보기 · 접기 ] | <tablealign=center> 순위 | 대학 | 국가 |
| 1 | 옥스퍼드 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 2 | 케임브리지 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 3 | 런던 정치경제대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 4 | 세인트 앤드루스 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 5 | 임페리얼 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 6 | 더럼 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 7 | 러프버러 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 8 | 유니버시티 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 9 | 워릭 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 10 | 바스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 11 | 랭커스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 12 | 에든버러 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 13 | 맨체스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 엑시터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 15 | 사우스햄튼 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 16 | 글래스고 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 17 | 브리스톨 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 18 | 요크 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 19 | 버밍엄 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 20 | 리즈 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 21 | 킹스 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 22 | 이스트 앵글리아 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 23 | 헤리엇-와트 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 24 | 노팅엄 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 25 | 카디프 대학교 | [[웨일스|]][[틀:국기|]][[틀:국기|]] | |
| 26 | 셰필드 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 27 | 에식스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 28 | 던디 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 29 | 스완지 대학교 | [[웨일스|]][[틀:국기|]][[틀:국기|]] | |
| 30 | 스트래스클라이드 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 리버풀 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 32 | 로열 홀러웨이 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 33 | 하퍼 아담스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 34 | 퀸스 대학교 벨파스트 | [[북아일랜드|]][[틀:국기|]][[틀:국기|]] | |
| 35 | 서리 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 36 | 레딩 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 37 | 뉴캐슬 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 38 | 스털링 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 애버딘 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 40 | 레스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 41 | 서식스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 퀸 메리 런던 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 43 | 런던 예술대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 44 | 얼스터 대학교 | [[북아일랜드|]][[틀:국기|]][[틀:국기|]] | |
| 45 | 노팅엄 트렌트 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 46 | 링컨 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 47 | 애스턴 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 48 | SOAS | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 49 | 노섬브리아 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 50 | 켄트 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] |
| {{{#!folding 2022 가디언 순위 [ 펼쳐 보기 · 접기 ] | <tablealign=center> 순위 | 대학 | 국가 |
| 1 | 옥스퍼드 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 2 | 케임브리지 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 3 | 세인트 앤드루스 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 4 | 런던 정치경제대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 5 | 더럼 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 6 | 워릭 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 7 | 임페리얼 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 8 | 바스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 9 | 유니버시티 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 10 | 러프버러 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 11 | 글래스고 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 12 | 에든버러 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 13 | 랭커스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 14 | 브리스톨 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 15 | 엑시터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 16 | 리즈 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 17 | 사우스햄튼 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 18 | 스트래스클라이드 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 19 | 요크 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 20 | 애버딘 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 21 | 치체스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 22 | 로열 홀러웨이 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 23 | 킹스 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 24 | 스완지 대학교 | [[웨일스|]][[틀:국기|]][[틀:국기|]] | |
| 25 | 애스턴 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 26 | 런던 예술대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 27 | 셰필드 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 28 | 맨체스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 29 | 버밍엄 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 30 | 레스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 31 | 던디 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 32 | 크리에이티브 아츠 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 33 | 퀸스 대학교 벨파스트 | [[북아일랜드|]][[틀:국기|]][[틀:국기|]] | |
| 34 | 링컨 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 35 | 웨스트 런던 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 36 | 헤리엇-와트 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 웨스트 오브 잉글랜드 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 38 | 코번트리 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 카디프 대학교 | [[웨일스|]][[틀:국기|]][[틀:국기|]] | ||
| 40 | 리버풀 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 41 | 노섬브리아 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 이스트 앵글리아 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 플리머스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 44 | 서식스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 45 | 킹스턴 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 46 | 볼턴 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 옥스퍼드 브룩스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 48 | 킬 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 49 | 스털링 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 50 | 켄트 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] |
| {{{#!folding 2022 더 타임스/더 선데이 타임스 순위 [ 펼쳐 보기 · 접기 ] | <tablealign=center> 순위 | 대학 | 국가 |
| 1 | 세인트 앤드루스 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 2 | 옥스퍼드 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 3 | 케임브리지 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 4 | 임페리얼 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 5 | 런던 정치경제대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 6 | 더럼 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 7 | 유니버시티 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 8 | 워릭 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 9 | 바스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 10 | 러프버러 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 11 | 랭커스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 12 | 글래스고 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 13 | 에든버러 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 14 | 브리스톨 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 15 | 리즈 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 16 | 사우스햄튼 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 17 | 스트래스클라이드 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 18 | 킹스 칼리지 런던 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 19 | 요크 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 20 | 애버딘 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 21 | 엑시터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 22 | 셰필드 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 23 | 맨체스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 24 | 퀸스 대학교 벨파스트 | [[북아일랜드|]][[틀:국기|]][[틀:국기|]] | |
| 25 | 버밍엄 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 26 | 로열 홀러웨이 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 27 | 이스트 앵글리아 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 28 | 노팅엄 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 29 | 하퍼 아담스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 30 | 헤리엇-와트 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 리버풀 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 32 | 서리 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 33 | SOAS | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 34 | 레딩 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 35 | 카디프 대학교 | [[웨일스|]][[틀:국기|]][[틀:국기|]] | |
| 던디 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | ||
| 37 | 레스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 38 | 애버리스트위스 대학교 | [[웨일스|]][[틀:국기|]][[틀:국기|]] | |
| 39 | 스완지 대학교 | [[웨일스|]][[틀:국기|]][[틀:국기|]] | |
| 40 | 퀸 메리 런던 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 41 | 스털링 대학교 | [[스코틀랜드|]][[틀:국기|]][[틀:국기|]] | |
| 42 | 뉴캐슬 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 43 | 에식스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 44 | 얼스터 대학교 | [[북아일랜드|]][[틀:국기|]][[틀:국기|]] | |
| 45 | 애스턴 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 46 | 켄트 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 47 | 서식스 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 48 | 킬 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 49 | 링컨 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] | |
| 50 | 치체스터 대학교 | [[잉글랜드|]][[틀:국기|]][[틀:국기|]] |
자국과 세계 랭킹간의 이러한 괴리가 나타나는 이유는 국내 대학평가 기관들과 세계 대학평가 기관들의 랭킹 산출 기준(Criteria)과 이에 부과되는 가중치(Weight)가 완전히 다르기 때문이다. 흔히 국내 대학 평가기관들의 랭킹은 학부 중심의 강의력(Teaching) 베이스의 랭킹이고 세계 대학평가 기관들은 대학원의 역량, 즉 연구(Research) 베이스의 랭킹이라 알려져 있는데, 국내 대학 평가기관들의 랭킹은 특정 교육기관의 (타인에 의한)실제적 평판이나 사회적 인식을 반영하지 않는다.
위 3곳의 국내 대학평가 기관의 랭킹은 각 대학에 대한 학생 만족도(Satisfaction) 및 학업 환경 및 지원[8]에 방점을 둔 하나의 통계이지, 학부의 서열을 정하는 랭킹으로는 올바르지 않다. 그 이유는 학생 만족도 만으로 랭킹이 수직 상승할 수 있는 구조와 몇몇 평가기준들에 대한 비판[9], 그리고 이들이 활용하는 데이터에 대한 신뢰도 문제[10] 및 평가를 받는 영국내 교육기관들의 거부현상 때문이다.
국내대학 랭킹이나 세계대학 랭킹이나 각자의 비판점이 존재하지만, 이 둘을 가르는 가장 큰 비중이자 결정적 차이점은 국내 대학랭킹이 내가 평가하는 나 자신에 더 중점을 둔 통계라면 세계대학 랭킹은 외부에서 평가하는 나 자신에 더 중점을 둔 통계라는 점이다.
이는 국내 대학평가 기관 3곳의 랭킹 산출 방법론을 보면 쉽게 파악할 수 있다.
4. 평가기준과 가중치
하단의 표 정보는 위에 전술한 국내 대학 평가 기관 3곳의 기준과 그 가중치다. [11] 참고로 국내 대학평가 기관들이 내놓는 Subject Rankings도 아래와 같은 평가 기준과 가중치를 따른다.| {{{#!folding [ 펼치기 · 접기 ] | <tablealign=center><tablewidth=91%> 더 가디언 - University Guide |
| • 입결(Entry Standards)[12] - 15% | |
| • 수업 만족도(Assessment and feedback)[13] - 10% | |
| • 졸업자의 진로 전망(Career prospects)[14] - 15% | |
| • 종합 만족도(Overall satisfaction))[15] - 5% | |
| • 교육 환경(Expenditure per student)[16] - 5% | |
| • 교수-학생 비율(Staff-student ratio)[17] - 15% | |
| • 강의력(Teaching)[18] - 10% | |
| • Value-added[19] - 15% | |
| • 중퇴율(Continuation)[20] - 10% |
| 더 타임스/더 선데이 타임스 - Good University Guide |
| • 입결(Entry Standards)[21] - 11% |
| • 학생 만족도(Students satisfaction)[22] - 17% |
| • 연구 수준(Research Quality)[23] - 17% |
| • 교수-학생 비율(Staff-student ratio)[24] - 11% |
| • 교육 환경(Services and facilities spend)[25] - 11% |
| • 평균 학점(Good honours: Whether students get a good grade)[26] - 11% |
| • 졸업자의 진로 전망(Graduate career prospects)[27] - 11% |
| The Complete University Guide (CUG) |
| • 학생 만족도(Students satisfaction)[28] - 1.5[29] |
| • 연구 수준(Research Quality)[30] - 1.0 |
| • 연구 수준(Research Intensity)[31] - 0.5 |
| • 입결(Entry Standards)[32] - 1.0 |
| • 교수-학생 비율(Staff-student ratio)[33] - 1.0 |
| • 교육 환경(Academic services spend)[34] - 0.5 |
| • 교육 환경(Facilities spend)[35] - 0.5 |
| • 중퇴율(Degree Completion: Whether students drop out)[36] - 1.0 |
| • 평균 학점(Good honours: Whether students get a good grade)[37] - 1.0 |
| • 졸업자의 진로 전망(Graduate career prospects)[38] - 1.0 |
국내 대학평가 랭킹에서 설문조사가 차지하는 비율은 각각 더 가디언 유니버시티 가이드가 대략 50%, 더 타임스와 더 선데이 타임스가 대략 40%, 그리고 CUG도 대략 40%다. 설문조사의 비율이 높다고 해서 무조건 비판받을 수는 없다. 연구 성과와 같이 정량적인 수치가 나오는 평가항목이 있는 반면, 학부는 Teaching-based이기 때문에 어느 특정 대학의 특정 학과를 직접 경험해 본 학생의 의견을 조사하여 수치화하는 방법외엔 달리 평가할 방법이 딱히 있는것도 아니다. 영국의 세계대학 기관인 QS와 THE역시 설문조사를 활용한다. 허나 이들의 설문조사는 위 3곳의 국내 대학평가 기관의 설문조사와 비교시 아주 큰 차이점이 존재한다.
바로 외부에서 평가하는 나(세계 대학평가)와 내가 평가하는 나 자신(국내 대학평가)이 그 차이다.
국내 대학 평가 기관들의 경우(후술하겠지만) 학부생들을 대상으로 본인들의 학교에 대해 본인이 평가하도록 한다. 반면 세계 대학 평가 기관들의 경우 A라는 대학에 대해 Peer-Review를 통해 B, C, D, E.... 대학들에게 A에 대해서 평가하게 한다.
5. 데이터의 신뢰도 문제 - NSS와 TEF의 문제점
“Student surveys are subjective, flimsy and open to manipulation”
”학생 대상의 설문조사(NSS)는 언제나 주관적이고, 엉성하며, 조작의 가능성에 노출되어 있다”
- NewScientiest
”학생 대상의 설문조사(NSS)는 언제나 주관적이고, 엉성하며, 조작의 가능성에 노출되어 있다”
- NewScientiest
"With the NSS, do positives scores really reflect student satisfaction? The number of students that fill it in is a sign of student engagement. However, even negative scores and comments are indicative of an environment in which students feel encouraged to put their thoughts forward"
NSS의 설문조사에서 긍정적 답변이 실제로 학생 만족도를 반영합니까? 설문조사지를 채웠다는건 학생 참여가 이뤄졌다는 의미이겠지만, 부정적인 답변과 의견조차도 학생들이 자신의 생각을 자유롭게 개진할 수 있는 긍정적 환경이 조성되었다는걸 의미합니다.
- Rima Amin, The Times Higher Education
NSS의 설문조사에서 긍정적 답변이 실제로 학생 만족도를 반영합니까? 설문조사지를 채웠다는건 학생 참여가 이뤄졌다는 의미이겠지만, 부정적인 답변과 의견조차도 학생들이 자신의 생각을 자유롭게 개진할 수 있는 긍정적 환경이 조성되었다는걸 의미합니다.
- Rima Amin, The Times Higher Education
- National Student Surrey (NSS) = 학생 만족도 조사
- Teaching Excellence Framework (TEF) = 교육력 평가
우선 국내 대학 평가기관들이 어떤 방법으로 설문조사를 진행하는지 알아볼 필요가 있다. 국내 대학 평가기관들은 졸업자의 진로 전망(Graduate career prospects)을 평가하기 위한 설문조사[39]를 제외하고 이들 랭킹에 가장 큰 영향력을 발휘하는 데이터는 Ipsos Mori라는 시장조사 기관에서 시행하는 National Student Survey(NSS)라는 영국내 대학 재학생들의 만족도(Satisfaction)를 파악하기 위한 설문조사이다.[40] 총 평가 기준 중 더 가디언 유니버시티 가이드가 대략 40%, 더 타임스/더 선데이 타임스가 20%, CUG도 대략 20%정도 NSS의 설문조사 데이터를 기반으로 한다.
NSS는 매년 각 학교의 마지막 학년 학부생들을 대상[41]으로 설문조사를 통해 자신들의 학교에 대한 평가를 내리게 한다.[42][43] 즉 NSS는 외부의 누군가가 나를 평가하는 것이 아닌 A 학교 학생이 자신이 다닌 A 학교를 평가하는 자기보고평가다. 국내 대학 평가기관들은 이 NSS의 설문조사를 주 데이터를 근거로 랭킹 산출을 위한 기준을 세운다.
위의 국내 대학평가 기관들이 NSS의 설문조사의 비중을 높게 책정하는 이유는 NSS가 Teaching Excellence Framework(TEF)[44]를 평가할때 100%의 수치로 쓰이는 설문조사(Seed 데이터)이기 때문이다. 즉 NSS 점수 = TEF 점수라 해도 과언이 아니라는 뜻이며,[45] NSS 조사에 대한 학생들의 참여가 높아 결과적으로 좋은 점수를 얻게되면, 해당 학교의 교육력(TEF) 점수도 덩달아 같이 고득점을 기록할 확율이 높다는 뜻이다.
우선 현재의 TEF가 어떤식으로 대학을 평가하는지 알아 볼 필요가 있다. 지난 2005년 TEF는 기존 NSS 점수 100%의 평가 방식에서 벗어나 2017년부터 아래의 평가항목들의 점수를 추가하여 최종 스코어를 산출한다.[46]
* NSS(학생 만족도 평가) 설문조사 점수 (80%)
* Non-continuation(중퇴율)[47] - HESA 데이터 (10%)
* Employment/Highly-skilled employment(취업율) - DLHE 설문조사[48] (10%)
다음의 BBC 기사의 비판에서 보듯 위 기준들 중 어떠한 기준도 직접적으로 학부의 수준 및 능력 을 평가할 수 있는 기준은 없으며, 오히려 학생들의 기준에서 본인이 수강한 전공 커리큘럼에 대해 작위적으로 평가할 수 있는 시스템이다.[49] 즉 학생의 만족도가 학교의 교육력이란 뜻이다. 위의 HESA 데이터를 활용한 중퇴율 항목과 NSS를 활용한 나머지 항목들을 제외한 항목인 취업율은 후술할 DLHE 설문조사 결과를 데이터로 활용하는데 DLHE는 NSS와 마찬가지로 학생에게 개별적으로 전화나 이메일로 취업 여부를 물어보는 자기보고평가다.
실제로 국내 대학평가 기관들 3곳의 랭킹은 학생 만족도인 NSS 설문조사 점수만 높아도 랭킹이 수직 상승하는 구조를 가지고 있다.
매년 갱신되는 학생 만족도 설문조사(NSS)를 통해 랭킹 널뛰기 하는걸 볼 수 있는데 더 가디언 유니버시티 가이드(2021년 기준)의 경우 스트래스클라이드 대학교 51위 에서 15위, 치체스터 대학교 73위에서 29위, 헤리엇-와트 대학교 61위 에서 35위, 던디 대학교 87위에서 48위, 볼턴 대학교 86위에서 50위, 셰필드 대학교 45위에서 31위, 뉴캐슬 대학교 86위에서 51위, 본머스 대학교 73위에서 56위, 노팅엄 대학교 18위에서 38위, 맨체스터 대학교 40위에서 25위, 웨스트 런던 대학교 57위에서 34위 등 학교의 수준을 평가하는게 아닌 NSS만으로 랭킹이 널뛰기 하는걸 볼 수 있다.
CUG와 더 타임스/더 선데이 타임즈의 랭킹은 평가에서 학생 만족도가 차지하는 비율이 더 가디언 유니버시티 가이드보다는 상대적으로 낮지만 여전히 총 평가의 대략 20%를 차지하는 큰 비중이며, 학생 만족도 만으로도 충분히 랭킹 상승을 도모할 수 있는 구조이다. 예를 들어 CUG 2021년 랭킹 기준 전년도 대비 본머스 예술대학교 17계단 상승, 애버리스트위스 대학교 13계단 상승, 헐 대학교 17계단 상승, 치체스터 대학교 16계단 상승, 퀸스 대학교 벨파스트 10계단 상승, 허덜스필드 대학교 11계단 상승, 런던 예술대학교 10계단 상승, 웨스트 런던 대학교 13계단 상승, 스태퍼드셔 대학교 17계단 하락, 본머스 대학교 16계단 하락, 서리 대학교 11계단 하락, 하퍼 아담스 대학교 14계단 하락, 브루넬 대학교 15계단 하락 등등 운 좋으면 한번에 30계단 가까이를 점프하는 더 가디언 유니버시티 가이드[50] 만큼 극단적이지는 않지만 NSS 점수에 따라 두자릿 수(운 좋으면 20계단 가까이) 순위 상승 도모가 충분히 가능하다.[51]
다시 한번 말하지만 위의 널뛰기 현상은 90여개 국가의 몇천여개 대학교들을 대상으로 하는 세계대학 평가가 아닌 표본집단이 불과 150여개에 불과한 한 국가의 랭킹에서 발생하는 순위의 변동 폭이라는 것이다.
5.1. 국내 대학랭킹 상승을 위한 영국 대학들의 학생 대상 뇌물 공여
더 문제인 것은 위와 같은 사실을 알고 있는 영국 대학들이 랭킹 상승을 위해 꼼수를 쓰고 있다는 점이다. 실제로 많은 영국 대학들이 학생들에게 NSS에 참여하라고 독촉한다.영국의 한 대학생은 NSS 조사 참여를 거부하자 지속적으로 참여를 독촉하는 전화를 받았다는 일화를 전한적도 있다. 또한 런던 예술대학교(UAL)의 교직원들은 재학생들이 NSS 조사를 거부하지 못하게 하려고, 학생들이 NSS를 끝마칠때 까지 강의실 문 앞을 지키고 있었다는 사실이 밝혀진 바 있다.
대표적으로 서식스 대학교는 NSS를 보이콧하는 학생회에게 보이콧을 철회하고 재학생들이게 NSS 조사 참여를 독려하라며 뇌물을 공여하려다 실패한 적이 있다. 케임브리지 대학교에서도 영국내 대학들이 학생들의 NSS 참여를 높이기 위해 꼼수를 쓰는 것에 대한 우려를 표명한 적이 있으며, 더럼 대학교에서도 학교측의 재학생들을 향한 뇌물공여에 대한 기사를 낸 적이 있다.
5.2. NSS 보이콧 운동
더불어 상기해야할 점은 NSS 설문조사는 공식적으로 영국 총 학생회(NUS)와 영국 교직원 연합(UCU)연합하여 단체로 거부한 역사가 있는 조사라는 것이다.시행이례 후술할 비판점들 때문에 비난을 받던 NSS와 TEF에 대한 신뢰도를 더 악화시킨 결정적 사건은 지난 2017년 발생한다. NSS 시행이례 위에서 전술한 문제점들이 누적되어 영국 교직원 연합(UCU)[52]과 영국 총 학생회(NUS) 주도로 영국내 25개 대학들[53]이 연합하여 NSS 보이콧 운동을 전개했다. 영국 학생들과 교직원들이 NSS를 신뢰하지 않는 이유는 NSS 보이콧 선언문을 보면 잘 알 수 있다.
- NSS의 설문조사 점수는 향후 학교에서 수업료 인상을 정당화하는 데 사용될 수 있다.
- NSS의 설문조사 항목은 학생들을 학습자로서 대우하는게 아닌 고객처럼 대한다.
- NSS의 설문조사 점수는 향후 대학이 특정 전공에 대한 지원 삭감 혹은 폐쇄 조치하는 것을 정당화하는데 사용될 수 있다.
- NSS의 설문조사 및 분석은 시간 낭비이자 돈 낭비이며, 차라리 그 돈을 교육의 질 향상을 위해 투입하는 것이 옳다.
- 영국의 교수 및 모든 교직원들(UCU) 뿐만아니라 모든 학생들(NUS)은 NSS의 설문조사를 반대한다.
- 학생 만족도(Satisfaction)는 대학을 평가하기엔 잘못된 기준이다. 학생의 지적 향상을 위한 올바른 환경을 제공했는지가 대학을 평가하는 더 올바른 척도다.
- NSS는 영국 정부의 비참한 교육평가 정책인 TEF의 일부일 뿐이다. TEF는 영국내 대학들 간의 의미없는 경쟁을 부추긴다.
NSS의 설문조사는 학생 전체의 의견을 반영하지 않는다. NSS의 규정에 따르면 (각 학교당) 전체 학생의 최소 50%가 설문에 응하면 그 학교 구성원의 100%가 NSS에 참여한 걸로 친다. 즉 총 100명의 학생을 가지고 있는 A학교에서 전체 학생 중 50명만 설문에 답해도 그 설문의 가치를 인정하며 그 50명의 의견이 전체 100명의 의견을 대변하는 것이다.[54] A 학교의 학생회 측에서 NSS를 보이콧하겠다고 선언해도 이는 강제가 아니기 때문에 전체 학생의 참여율이 떨어질 지언정 전체 학생의 50%만 응답하면 그 학교는 NSS에 성공적으로 참여한 것이 된다.
그렇다면 NSS 참여율이 50% 미만인 대학들은 어떻게 될까? 학내 구성원들(학부 학생들)의 참여율이 50% 미만인 대학들도 NSS에 참여한 걸로 친다. 허나 참여율이 50% 미만인 대학들은 매년 발표되는 NSS (학생 만족도) 순위에서 낮은 순위를 차지한다. 왜냐하면 NSS 순위를 산출하기 위해 적용되는 가중치(Weight) 때문인데, 학생들의 참여율이 높은 대학일 수록 더 높은 점수를 부여받게 된다. 즉 NSS 랭킹에서 상위권을 차지한 대학일 수록, 학생들의 참여율이 높고 학생들로부터 더 많은 긍정적 Feedback을 받았다 라고 생각하면 된다.
현재까지도 학내 모든 구성원들이 NSS를 거부하고 있는 대표적인 학교는 옥스퍼드 대학교와 케임브리지 대학교이며, 킹스 칼리지 런던과 유니버시티 칼리지 런던은 과거 NSS 조사에 빠졌다 다시 복귀한 적이 있다.[55]
위의 사실을 알고있는 영국 교육계 종사들에게 NSS 데이터와 TEF에 대한 신뢰도는 굉장히 낮다. NSS의 설문조사 즉 학생 만족도는 평가 기준의 근거가 되기엔 부적절하며, 영국 교육시스템을 망치고 있다는 비판을 꾸준히 받고 있다. 더불어 TEF도 거의 대부분 NSS 설문조사 결과에만 근거한 평가 수치이기 때문에 학부의 교육력에 대한 평가의 기준으로서 부적절 하다는 지적을 꾸준히 받는다.
- NSS gets student satisfaction wrong
- NSS should be abolished before it does any more harm
- It's not fair to judge lecturers on NSS scores
- Nick Hilman - NSS is "of very limited value"
- Is it time to boycott the NSS?
- NSS is damaging for our education system
- TEF is an unreliable test for university teaching
- TEF rankings ‘statistically unreliable
- The problem with TEF – a look at the technical failings
- Teaching Excellence Framework under threat from NSS boycott
5.3. 왜 영국 대학들은 학생들이 NSS에 참여하도록 독려하는 것일까?
TEF 점수는 대학이 등록금을 인상을 요구할 수 있는 근거가 될 가능성이 있다.
전술한 Teaching Excellence Framework(TEF) 점수가 높으면 등록비(Tuition fee) 인상을 정부로 부터 공식적으로 승인 받을 수 있는 주요 근거로 활용될 가능성이 크기 때문이다.[56] 물론 TEF가 아니어도 영국 대학들의 등록비는 물가 상승률로 인해 꾸준히 오르고 있다. TEF는 대학이 등록비 인상을 요구할 수 있는 또다른 하나의 강력한 구실을 만들어 준다.[57]연구 역량은 하루 아침에 쌓이는 것이 아니다. 매년 뒤바뀔 수 있는 학생 만족도 조사는 순위를 상승시킬 수 있는 가장 쉽고 효과적인 방법이다.
대학측에서는 자신들에게 유리한 통계를 확보하기 위해 노력한다. 대학 홍보에 도움이 되기 때문이다. TEF의 점수가 되는 NSS 점수 및 참여율이 높으면 국내 대학 랭킹에서도 덩달아 상승 효과를 누릴 수 있다. 대학 입장에서 자신들에게 유리한 통계를 얻기 위한 가장 쉽고 5.4. 끊임없이 이어지는 비판
위의 사실들은 위 국내 대학평가 기관 3곳의 주 데이터가 되는 NSS에 의한 TEF 평가에 대한 신뢰도를 굉장히 떨어뜨리는 일이다. 실제로 옥스퍼드 대학교의 Dorothy V. M. Bishop 교수는 교육력 평가라는 NSS에 의한 TEF 평가가 무엇이 잘못 되었는지 2017년 2월 1일 사우스햄튼 대학교에 가서 강의까지 했다.[58]지난 2015년 런던 정치경제대학교에서도 TEF는 신뢰할 수 없는 조사라며 비판했다. 유니버시티 칼리지 런던(UCL)에서도 TEF로 인해 UCL이 위험하고 자기 파괴적인 길(dangerous and destructive path)에 들어설 가능성이 있다며 비판했다.
케임브리지 대학교 또한 TEF에 대해 비판했으며, TEF에 대한 정부의 질의에 대해 아래와 같은 답변을 내 놓았다.
“A TEF must be focused on teaching (or learning/educational) excellence alone.
TEF와 같은 교육력 평가 모델은 교육의 우수성에만 집중해야 합니다.
A system that relies on crude or reductive metrics would be misleading to students and could create adverse incentives for institutions.
조잡하거나 환원적인 지표에 의존하는 교육 평가 시스템은 학생들에게 잘못된 정보를 제공하며, 나아가 교육기관들에게 부정확한 가이드라인을 제공할 수 있습니다.
It must not be conflated with wider policy issues, such as widening participation.
TEF는 학생들의 참여 확대와 같은 정책 문제와 결부되어서는 절대 안됩니다.
- 케임브리지 대학교의 답변서 중 일부 발췌
TEF와 같은 교육력 평가 모델은 교육의 우수성에만 집중해야 합니다.
A system that relies on crude or reductive metrics would be misleading to students and could create adverse incentives for institutions.
조잡하거나 환원적인 지표에 의존하는 교육 평가 시스템은 학생들에게 잘못된 정보를 제공하며, 나아가 교육기관들에게 부정확한 가이드라인을 제공할 수 있습니다.
It must not be conflated with wider policy issues, such as widening participation.
TEF는 학생들의 참여 확대와 같은 정책 문제와 결부되어서는 절대 안됩니다.
- 케임브리지 대학교의 답변서 중 일부 발췌
더불어 TEF 평가와는 전혀 상관이 없는 영국의 왕립통계협회(Royal Statistical Society)에서도 TEF는 통계학적으로 잘못된 조사라며 비판했다.[59]
6. 연구력 평가 항목에 대한 비판
거의 100% NSS 학생 만족도 조사결과 순위라 봐도 무방한 더 가디언 유니버시티 가이드를 제외하고 나머지 두개의 평가기관인 더 타임스/더 선데이 타임스와 The Complete University Guide (CUG)의 연구력 관련 평가항목(Research Quality, Research Intensity)에 대한 비판이다. 영국 대학들의 연구력을 이 두 평가기관의 랭킹으로 판단하면 안된다. 문제는 이 두 평가기관들이 사용하는 데이터에 있다. 데이터가 잘못됐다는 말이 아니라, 이 데이터를 매년 새로 갱신되는 랭킹에 적용하는 두 국내 평가기관들의 방법론이 잘못됐다는 것이다.Research Excellence Framework(REF)는 영국내 고등교육기관들의 연구역량에 대해 조사하는 영국 정부 산하 기관으로 영국내 대학들의 연구성과에 대해 가장 공신력 있는 정보를 제공한다. 몇년에 한번씩 그 동안 누적된 결과를 발표한다.[60] REF의 전신인 RAE가 2008년 처음 결과를 발표한 이후 2014년 발표가 가장 최근 자료이며, 2021년 중반에 새로운 조사결과를 발표할 예정이다.[61] 더 타임스/더 선데이 타임스와 CUG 두 랭킹의 연구력 평가항목(Research Quality, Research Intensity)이 REF 데이터를 100%로 활용하여 나오는데 문제는 똑같은 데이터를 매년 쓴다는 것이다.
전술한대로 REF는 몇 해에 한번씩 공개되는 누적 조사결과이며, 새로운 조사결과가 발표되는 2021년 중반까지 데이터가 매년 새롭게 갱신되는게 아니라 2014년 발표한 결과에 멈춰있다는 것이다. 이말인 즉, 2015년부터 2021년 까지의 더 타임스/더 선데이 타임스와 CUG가 매년 발표한 랭킹의 연구력 관련항목은 매년 똑같은 고정값이라는 것이다. 실제로 2021 초에 발표된 CUG의 2021년 랭킹을 아래와 같이 연구평가 항목으로 정렬시켜 보면 7년전에 발표된 REF 2014 조사결과와 똑같다는 것을 알 수 있다.[62]
| {{{#!folding CUG 2021 Research Quality [ 펼쳐 보기 / 접기 ] | |
결과적으로, 전술한 위와 같은 변동폭이 발생할 수 있는 가장 큰 요인은 가중치가 가장 높은 학부생 대상의 설문조사인 학생 만족도, 즉 NSS 점수인 것이며, 연구력 관련항목들은 순위 변동에 아무런 효과를 주지 못한다.
7. 졸업자의 진로 전망(취업률)에 대한 비판
그렇다면 위 3곳의 국내 대학평가 랭킹에서 NSS 설문조사 데이터가 쓰이지 않는 졸업자의 진로 전망(Graduate career prospects) 평가 기준은 어떨까?이 평가 기준에 쓰이는 데이터는 Higher Education Statistics Agency(HESA)의 DLHE가 진행한 설문조사다. HESA는 영국내 고등교육기관에 대한 정량적 정보 수집 및 분석을 위한 정부 산하 공식 통계기관으로 국내 대학평가 기관들뿐만 아니라 영국의 세계 대학평가 기관인 QS와 THE도 영국 대학들을 평가할때 이 기관의 데이터를 활용한다.
DLHE의 설문조사에서 주목해야 할 점은 이 설문은 각 대학의 졸업생들에게 졸업 6개월, 12개월, 15개월 후 개별적으로 전화나 이메일로 취업 여부를 물어보는 구조다. 즉 NSS의 설문조사와 마찬가지로 자기보고평가다. 더 문제인건 직업의 질적 측면(Quality)에 대해선 전혀 고려하지 않는다는 점이다. 단순히 "저 취업 성공했어요"라고 답한 사람들의 수치만 고려한다는 것.
HESA에서 발표한 (2016년 기준) DLHE 조사결과 최고 취업율 10개 대학은 아래와 같다.[63]
| {{{#!folding DLHE 2016 영국 취업률 상위 10개 대학교 [ 펼쳐 보기 / 접기 ] | 순위 | 대학 | 취업률(%) |
| 1 | 킬 대학교 | 97.5 | |
| 2 | 컴브리아 대학교 | 96.9 | |
| 3 | 스털링 대학교 | 96.8 | |
| 4 | 리즈 베켓 대학교 | 96.7 | |
| 5 | 애버딘 대학교 | 96.6 | |
| =6 | 팔머스 대학교 | 96.5 | |
| =6 | 로버트 고든 대학교 | 96.5 | |
| =8 | 스트래스클라이드 대학교 | 96.2 | |
| =8 | 리버풀 호프 대학교 | 96.2 | |
| =8 | 던디 대학교 | 96.2 |
DLHE 조사에 대한 졸업자들의 총 응답률은 35.8%로 이 통계에 대한 신뢰도가 높다고 할수는 없는 상황이다. 허나 HESA측에서 매년 노력을 기울이고 있으며 응답률이 매년 늘어날 것이라 기대하고 있다.
THE나 QS에서 진행하는 Graduate employability 랭킹은 회사의 인사채용자나 임원들에게 물어보는 자체 설문조사를 진행해 외부에서 바라보는 특정학교 졸업자를 평가하는 것이다. 즉 이건 인사채용자들이 평가하는 해당 학교 졸업자의 능력을 평가 내지는 선호하는 구직자들의 출신대학에 대한 랭킹이지 취업률에 대한 랭킹이 아니다.
이런 이유로 국내 대학 평가기관들과 세계 대학 평가기관들의 설문조사 결과가 다른 것이다. 물론 설문조사야 어디까지나 주관적인 의견에 지나지 않으며 이를 절대적 평가 지표로 받아 들이는건 지양해야 한다.
8. 학점 인플레이션
또한 위 3곳의 국내 대학평가 랭킹에서 상승하기 위한 학점 인플레이션 경쟁이 대학들간에 치열하게 벌어지고 있다는 점이다. 더 가디언 유니버시티 가이드 15%, 더 타임스/선데이 타임스 대략 10%, CUG도 대략 10%를 차지하는 평가 기준인 졸업생들의 평균 학점을 높이기 위한 것으로 이는 나아가 취업시장에서 더 유리한 조건을 제공함으로서 졸업자의 진로 전망 (Graduate career prospect) 평가 기준의 수치 또한 높일 수 있기 때문이다. 이와 같은 이유로 더 타임스와 CUG의 평가 기준인 졸업자들의 평균 학점 또한 그 신뢰도에 대해 비판받고 있는 것이다.- League tables drive degree class inflation
- University league tables have ‘driven’ degree grade inflation, official says
The great university con: how the British degree lost its value - 영국 대학들 '학점 뻥튀기' 관행 점점 심해져...그 이유는?
- Grade inflation: Proportion of university graduates getting a First class degree up 88% in eight years
국내 대학평가 기관 3곳의 평가 기준들이 전술한 설문조사를 바탕으로 한 기준들을 뺀 나머지 기준들은 HESA의 데이터를 쓴다. 이 데이터들은 영국 정부 산하의 기관들이 공식적으로 내는 통계이므로 이들을 활용하는 국내 대학랭킹이 세계 대학랭킹보다 정확하다는 의견을 제시하는 사람들도 있는데 이는 오해로, 영국의 세계대학 평가기관들인 THE, QS도 영국 대학을 평가하기 위해 HESA 데이터를 똑같이 쓴다.[64] 다만 세계대학 평가기관들은 각 대학들의 연구 역량을 매년 새롭게 평가하기 위해 다른 데이터를 사용하며, 대학의 평판을 알아보기 위한 설문조사의 대상을 달리할 뿐이다.
다만 결과가 다르게 나오는 이유는 전술했듯이 평가 기준이 다르며, 그 기준들에 대한 가중치(Weight)를 다르게 두기 때문이다. 국내 대학 평가 기관들에선 작은 비율인 대학의 연구 능력 평가 항목들의 비중을 세계 대학 평가기관들에선 상대적으로 극대화하고, 설문조사를 통한 외부평가 항목을 추가한 것이다. 즉 학교의 명성(시쳇말로 간판)에 대한 평가는 세계 대학평가 기관들의 랭킹에 있다. 그렇다고 세계 대학 평가기관들의 방법론이 옳다는게 아니다. QS와 THE의 방법론 역시 수많은 비판에 직면해 있다. 이들은 학교 간 규모의 차이나 특성들을 고려하지 못한다는 단점이 있다.
단지 국내 대학 랭킹은 내가 나 자신을 평가하는데 더 중점을 두고 있으며, 해외 대학 랭킹은 외부에서 보는 나 자신을 평가하는데 좀 더 중점을 두고 있는 통계이다.
9. 중퇴율 논란
전술한 강의력과 학생 만족도 평가 항목에서의 논란과 더불어 중퇴율(Degree Completion: Whether students drop out) 또한 이게 과연 대학의 능력을 평가할 수 있는 기준인지에 대해 논란이 있다.중퇴율이 대학 평가의 기준이 된 이유는 학교가 학생이 떠나고 싶지 않은 환경을 제공한다면 졸업까지 마치는 학생의 수가 더 많아진다 라는 논리로 CUG와 더 가디언 유니버시티 가이드가 채택한 기준이다. 문제는 단순히 학교에서 학점이 나빠 퇴학조치 당한 학생, 선택한 전공이 맞지 않아 다른 학교로 Transfer한 학생 등 학교를 졸업 전에 떠나기만 하면 중퇴율에 포함시킨다. 또한 각 학교, 학부의 학위마다 다른 특징을 가지고 있으며 졸업까지 끝마치기 위한 요구 사항 및 들어가는 노력이 다 다른데 이를 일률화하여 중퇴율이란 하나의 척도로 평가할 수 있는지에 대한 논란이 있다
10. 입결
국내 대학 평가기관들의 또다른 평가 기준인 입결도 곧이곧대로 믿으면 곤란한 점이 있다. 위의 중퇴율에서 언급했듯이 각 학교, 학부마다 학위에 기대치와 그 과정을 완료하기위한 노력이 다 다르다. 이는 그 학위에 도전하기 위한 입결 기준 또한 다 다르다는걸 의미한다. 먼저 위 3곳의 국내 대학 평가기관들이 입결관련 정보를 얻기위해 활용하는 데이터는 UCAS points(UCAS Tariff)로 이는 대학 지원자를 평가하는 16개 항목의 평가기준들을 수치화한 것이다. 지원자의 성적마다 각기 다른 UCAS Point가 적립되며,[65] UCAS Points가 높을수록 해당 지원자가 더 많은 수업을 들었으며, 전체적으로 더 좋은 성적을 받았다는걸 의미한다. 위 국내 대학 평기기관 중 한곳인 CUG가 자신들의 홈페이지에서 밝혔듯, 본인들 순위에서 입결은 각 학교에 최종 합격한 지원자들의 UCAS Points를 합산한 총합이 아닌 총 지원자들이 획득한 UCAS Points의 평균을 낸것이다. 그 이유로 CUG는 다음과 같이 설명한다.각 학교/학부마다 UCAS Points를 다르게 활용한다. 모 학교의 모 학부는 전공에 관련된 과목의 성적을 최우선시 함으로 다른 과목의 성적들과의 총합인 UCAS Points는 참고만 하고 절대적인 지표로 활용하지 않는다. 반면에 다른 학교의 다른 전공은 애초에 미니멈 UCAS Points를 설정해 두고 지원자들 성적의 총합이 자신들의 기준을 넘길 요구한다. 즉 당신이 가고자하는 학교의 학부에 대한 정확한 Entry Requirment를 알아야한다. 이렇게 학교마다 다 다르기 때문에 단순 합이 아닌 평균을 내는 것이 각 기관의 Entry Standards를 더 잘 반영하는 방법이라 생각된다.
- The Complete University Guide(CUG)
- The Complete University Guide(CUG)
CUG와 더불어 UCAS 공식 홈페이지에도 영국의 대학들은 지원자의 성적이나 자신들의 지원 기준(Entry Requirments)보다 더 다양한 것들을 합격자 선정에 고려한다라고 설명해 놓았듯이, UCAS Points가 높다고 자신이 원하는 대학에 합격한다는 보장은 없으며, 더 들어가기 어려운 대학이다라고 정의 내릴수는 없다는 얘기다.
특히 예체능이나 고전/인문학 관련 전공이 평균적으로 낮은 UCAS Points를 요구하는데 이런 전공들을 보유한 종합대학일 수록 국내 대학 평가기관의 입결 평가 항목에서 낮은 점수(평균)를 기록할 수 밖에 없다.[66] 또한 UCAS Points를 아예 본인들의 합격자 선정 기준에 반영하지 않겠다는 대학의 학부들도 존재한다.[67] 수능 최저에 비유하자면 전체 과목 평균 5등급 3합4보다 전체 평균 4등급 4합9의 커트가 높게 측정되는 꼴. 당연한 얘기지만 이러한 경우도 국내 대학 평가기관들의 입결 평균점수에 충분히 반영되지 않는다. 결국 입결이란 절대적인 기준이 아닌 참고로만 활용하는 것이 옳다.
11. 결론
NSS 설문조사(만족도)의 문제에 이은 TEF(강의력)의 신뢰도 논란이야 어떻든 학생들의 의견을 들을 수 있는 유일한 설문조사 데이터를 활용하며, 학생이 자신의 전공에 대한 학교의 지원에 대해 느끼는 만족도를 확인할 수 있다는 측면에선 국내 대학 평가기관들의 랭킹은 유용한 통계다. 즉 학생이 본인의 학교에 대해서 얼마나 행복감을 느끼냐 혹은 학교가 학생을 위해 얼마만큼의 노력을 하냐에 대한 통계로서 유용한 랭킹이다.종합적으로 얘기하자면, 학부생들 대상 설문조사가 주가 되는 국내 대학 랭킹은 학생 만족도와 학교의 학업 환경 및 지원을 중시하는 사람에게 추천하며, 세계 대학 랭킹은 대학의 연구 수준/역량 및 대외적 평판(명성) 중요시하는 사람들에게 추천된다.
영국에 상대적으로 정보가 부족한 유학생들은 주로 랭킹으로 대학을 판단한다. HESA가 발표한 대학별 유학생 비율에서 보듯이 이미 영국내 대부분의 학교에서 유학생이 차지하는 비율은 대략 10~20% 가까이 된다. 이는 학교 수입에 엄청난 영향을 끼치는 것으로 학교측에선 홍보를 위해 랭킹에 신경을 쓸 수 밖에 없다. 허나 다음의 기사에서 보듯이 영국의 전문가들은 영국 대학에 대한 랭킹이 너무 많고 어느 기준에 중점을 두느냐에 따라 그 결과 또한 매우 다양하기 때문에 자신이 다니고 싶은 대학을 정할때는 본인이 학교에 원하는 것이 무엇인지에 대한 기준을 먼저 세우고 그에 맞는 데이터를 찾아 자신만의 통계를 만들어 판단하라 권고하고 있다. 즉, 다양한 관점에서 연구된 여러 통계 및 랭킹을 두루 살펴보고 자신만의 기준점을 찾아야 한다.
예를 들어 대학의 연구에 대한 능력 및 실적을 본인이 가고싶은 대학의 최고 기준점으로 둔다면, 아래와 같은 통계가 학교 선택을 하는데 도움이 될 것이다. 영국 정부 산하 기관들에서 공식적으로 제공하는 데이터를 바탕으로 가장 분석하기 용이한 평가 기준은 바로 연구 역량이다. Research Excellence Framework(REF)는 영국내 고등교육기관들의 연구역량에 대해 조사하는 영국 정부 산하 기관으로,[68] 영국 대학들의 연구역량에 대해 가장 공신력있는 자료를 제공한다. REF의 조사 결과는 아래와 같다.[69]
| {{{#!folding REF 2014 결과 [ 펼쳐 보기 / 접기 ] | 순위 | Overall by THE | Overall by 더 가디언 | Research Impact | Highest % with World Leading Research |
| 1 | 임페리얼 칼리지 런던 | 옥스퍼드 대학교 | 임페리얼 칼리지 런던 | 런던 정치경제대학교 | |
| 2 | 런던 정치경제대학교 | 유니버시티 칼리지 런던 | 카디프 대학교 | 옥스퍼드 대학교 | |
| 3 | 옥스퍼드 대학교 | 케임브리지 대학교 | 유니버시티 칼리지 런던 | 케임브리지 대학교 | |
| 4 | 케임브리지 대학교 | 에든버러 대학교 | 킹스 칼리지 런던 | 임페리얼 칼리지 런던 | |
| 5 | 카디프 대학교 | 맨체스터 대학교 | 옥스퍼드 대학교 | 유니버시티 칼리지 런던 | |
| 6 | 킹스 칼리지 런던 | 임페리얼 칼리지 런던 | 브리스톨 대학교 | 카디프 대학교 | |
| 7 | 유니버시티 칼리지 런던[70] | 킹스 칼리지 런던 | 런던 정치경제대학교 | 킹스 칼리지 런던 | |
| 8 | 워릭 대학교[71] | 노팅엄 대학교 | 케임브리지 대학교 | 에든버러 대학교 | |
| 9 | 에든버러 대학교 | 브리스톨 대학교 | 리즈 대학교 | 워릭 대학교 | |
| 10 | 브리스톨 대학교 | 리즈 대학교 | 에든버러 대학교 | 브리스톨 대학교 |
| {{{#!folding REF 2021 결과 [ 펼쳐 보기 / 접기 ] | Overall by RPN[72] | Overall by THE[73] | Research Power | Market Share (%) | ||||
| 1 | 옥스퍼드 대학교 | 1 | 임페리얼 칼리지 런던 | 1 | 옥스퍼드 대학교 | 1 | 옥스퍼드 대학교 (5.75) | |
| 2 | 유니버시티 칼리지 런던 | =3 | 케임브리지 대학교 | 2 | 유니버시티 칼리지 런던 | 2 | 유니버시티 칼리지 런던 (5.34) | |
| 3 | 케임브리지 대학교 | =3 | 런던 정치경제대학교 | 3 | 케임브리지 대학교 | 3 | 케임브리지 대학교 (4.99) | |
| 4 | 에든버러 대학교 | 5 | 브리스톨 대학교 | 4 | 에든버러 대학교 | 4 | 에든버러 대학교 (3.97) | |
| 5 | 맨체스터 대학교 | 6 | 유니버시티 칼리지 런던 | 5 | 맨체스터 대학교 | 5 | 맨체스터 대학교 (3.44) | |
| 6 | 킹스 칼리지 런던 | 7 | 옥스퍼드 대학교 | 6 | 킹스 칼리지 런던 | 6 | 킹스 칼리지 런던 (3.04) | |
| 7 | 임페리얼 칼리지 런던 | 8 | 맨체스터 대학교 | 7 | 노팅엄 대학교 | 7 | 임페리얼 칼리지 런던 (2.89) | |
| 8 | 브리스톨 대학교 | 9 | 킹스 칼리지 런던 | 8 | 리즈 대학교 | 8 | 브리스톨 대학교 (2.49) | |
| 9 | 노팅엄 대학교 | =10 | 요크 대학교 | 9 | 임페리얼 칼리지 런던 | 9 | 노팅엄 대학교 (2.43) | |
| 10 | 리즈 대학교 | =10 | 런던 위생 열대의학 대학원 | 10 | 브리스톨 대학교 | 10 | 리즈 대학교 (2.42) | |
참고로 영국 정부 산하 기관인 Higher Education Funding Council for England(HEFCE)가 제공한 데이터를 보면, 영국 정부로부터 2015-2016 한 해 동안 제일 많은 연구관련 투자금을 얻어낸 대학의 순위는 아래와 같다[74]
| {{{#!folding Total Funding for English Higher Education Institutions 2015-16 [ 펼쳐 보기 / 접기 ] | 순위 | 대학 | Government Research Funding(£) |
| 1 | 옥스퍼드 대학교 | 139,061,600 | |
| 2 | 유니버시티 칼리지 런던 | 131,610,416 | |
| 3 | 케임브리지 대학교 | 120,096,538 | |
| 4 | 임페리얼 칼리지 런던 | 94,123,834 | |
| 5 | 맨체스터 대학교 | 68,800,260 | |
| 6 | 킹스 칼리지 런던 | 65,340,267 | |
| 7 | 노팅엄 대학교 | 48,908,422 | |
| 8 | 브리스톨 대학교 | 46,556,048 | |
| 9 | 사우스햄튼 대학교 | 45,399,243 | |
| 10 | 리즈 대학교 | 43,849,972 |
또한 흥미로운 통계가 있는데 바로 지난 2015년에 Mike Savage라는 런던 정치경제대학교 교수가 쓴 Social Class in the 21st Century라는 책이다. Mike Savage 교수는 사회학자로 영국의 Social Class 형성에 주된 영향을 미치는 요인들에 대해서 연구해 온 학자다. 이미 Paul Wakeling 요크 대학교 교수와 이와 관련된 논문을 발표한 적이 있다. 위 책의 연구 내용은 Great British Class Suvey(GBCS)[75]의 조사 결과를 토대로 이뤄져 있는데, 누적된 데이터를 바탕으로 발표된 GBCS의 조사 결과에 따르면 영국 사회에서 엘리트 층을 가장 많이 배출하고 있는 대학들의 순위는 아래와 같다.[76]
| {{{#!folding Percentage of Grads Who Are in the Elite [ 펼쳐 보기 / 접기 ] | 순위 | 대학 | Elite(%) |
| 1 | 옥스퍼드 대학교 | 44% | |
| 2 | 런던 정치경제대학교 | 41% | |
| 3 | 케임브리지 대학교 | 40% | |
| =4 | 킹스 칼리지 런던 | 39% | |
| =4 | 임페리얼 칼리지 런던 | 39% | |
| 6 | 브리스톨 대학교 | 36% | |
| 7 | 유니버시티 칼리지 런던 | 35% | |
| =8 | 퀸 메리 런던 대학교 | 31% | |
| =8 | 엑시터 대학교 | 31% | |
| =10 | 더럼 대학교 | 29% | |
| =10 | 맨체스터 대학교 | 29% | |
| =12 | 레딩 대학교 | 28% | |
| =12 | 서식스 대학교 | 28% | |
| =12 | 사우스햄튼 대학교 | 28% | |
| =15 | 버밍엄 대학교 | 27% | |
| =15 | 노팅엄 대학교 | 27% | |
| =15 | 에든버러 대학교 | 27% | |
| =15 | 세인트 앤드루스 | 27% |
만약 졸업 후 연봉이 본인이 대학 및 전공을 정하는데 가장 중요한 기준점이라면 영국 정부 산하 공식 고등교육 통계 기관인 HESA의 Graduate Outcome Survey 데이터나 영국의 구인구직 사이트 중 하나인 raisin의 데이터를 활용한 다음의 기사[77]나 또다른 영국의 구인구직 사이트인 Adzuna의 데이터를 활용한 다음과 같은 통계가 유용한 정보가 될 수도 있다.[78]
| {{{#!folding Top 10 most valuable UK universities [ 펼쳐 보기 / 접기 ] | 순위 | 대학 | 졸업 1년 후 평균 연봉(£) |
| 1 | 임페리얼 칼리지 런던 | 37,931 | |
| 2 | 킹스 칼리지 런던 | 33,077 | |
| 3 | 옥스퍼드 대학교 | 32,374 | |
| 4 | 유니버시티 칼리지 런던 | 31,708 | |
| 5 | 케임브리지 대학교 | 31,447 | |
| 6 | 에든버러 대학교 | 31,301 | |
| 7 | 런던 정치경제대학교 | 31,025 | |
| 8 | 엑시터 대학교 | 30,840 | |
| 9 | 요크 대학교 | 30,747 | |
| 10 | 브리스톨 대학교 | 29,830 |
또한 THE에선 매년 영국 회사들을 상대로 선호하는 구직자의 출신대학 순위 설문조사를 발표한다.The best UK universities chosen by major employers
졸업자의 구직 능력(Graduate Employability)에 관한 조사를 진행하는 Emerging의 GEURS 순위도 졸업 후 전망이 대학 선택에 가장 큰 기준점이라면 참고해 볼 것을 추천한다. GEURS는 고등교육 관련 평가 기관들도 참고하거나 통계 작성을 위한 데이터로 활용하는 자료다.GEURS 2020
| {{{#!folding Global Employability Ranking and Survey 2020 [ 펼쳐 보기 / 접기 ] | 세계 순위 | 영국내 순위 | 대학 |
| 4 | 1 | 케임브리지 대학교 | |
| 5 | 2 | 옥스퍼드 대학교 | |
| 18 | 3 | 임페리얼 칼리지 런던 | |
| 21 | 4 | 킹스 칼리지 런던 | |
| 37 | 5 | 런던 정치경제대학교 | |
| 53 | 6 | 맨체스터 대학교 | |
| 89 | 7 | 런던 비즈니스 스쿨 | |
| 103 | 8 | 에든버러 대학교 | |
| 113 | 9 | 유니버시티 칼리지 런던 | |
| 154 | 10 | 버밍엄 대학교 | |
| 165 | 11 | 카디프 대학교 | |
| 170 | 12 | 바스 대학교 | |
| 185 | 13 | 더럼 대학교 | |
| 209 | 14 | 세인트 앤드루스 대학교 |
위의 조사 결과들을 보면 국내 대학평가기관 3곳의 랭킹이나 세계 대학평가기관 등의 랭킹과는 다르다는걸 알 수 있다. 즉 국내든 세계든 랭킹은 랭킹일뿐 현실과는 다소 다를 수 있음을 명심해야 하며, 위의 REF나 HEFCE, HESA의 데이터를 활용한 통계들 또한 대학의 서열을 정하는 것이 아닌 어느 기준에 가중치를 두냐에 따라 달리 나타나는 영국 대학들에 대한 통계들 중 하나라 설명할 수 있다.
[1] 출처[2] 옥스퍼드 대학교, 케임브리지 대학교, 런던 정치경제대학교, 임페리얼 칼리지 런던, 유니버시티 칼리지 런던, 킹스 칼리지 런던 이 6개 대학들이 영국의 학술 및 연구 개발 비용에서 차지하는 비중이 제일 크고, 나라에서 연구 비용을 제일 많이 지원해주는 대학들이며, 모두 국제적 명성이 높다는 의미에서 "Golden"이라는 말이 붙었다.
출처 1, 출처 2[3] 더 가디언 - Ivy League for the UK
영국의 상위 24개 대학들이 모여 결성한 기관.[4] 국내 대학 평가기관인[5] 영국에 본사를 둔 영국의 세계대학 평가 기관[6] THE 세계 대학 랭킹은 더 타임스에서 발간하는 세계대학 평가다. 즉 더 타임스는 자국 랭킹과 세계 랭킹을 둘 다 발간한다.[7] QS와 THE의 세계랭킹의 경우 영어권 국가(미국, 영국, 캐나다, 호주, 싱가포르 등)의 대학들에 더 유리하게 작용한다는 비판이 있다. 이는 이들이 진행하는 설문조사에서 주로 오는 비판으로 설문조사를 영미권의 관점에서 진행하는거 아니냐는 비판이다. 이에 THE는 14개의 언어로 설문조사를 진행하고 UN의 데이터 또한 활용하는 등 이러한 비판을 이겨내기 위해 노력하고 있다.참고[8] 국내 대학 평가기관들에서 학교의 학업 환경 및 지원을 평가하는 항목은 다음과 같다.
Academic Service Spend: 학교가 도서관이나 IT 서비스같은 지원 프로그램에 얼마나 투자를 하는지
Facilities Spend: 학교가 학생 지원 시설(예를 들어 재학생 정신 건강 및 심리상담 프로그램, 커리어 개발 센터 등)에 얼마나 투자를 하는지[9] 강의력을 평가하는게 아닌 대학이 학생 시설에 얼마나 투자했는지, 시설은 어떤지 등의 강의력과는 별 상관이 없는 평가기준들이 있기 때문.[10] NSS manipulation claims ‘raise questions’ about data reliability
세계대학 랭킹들도 그들의 평가기준에 대한 비판이 있을 지언정, 그들이 사용하는 데이터에 대한 신뢰도에 문제가 제기되진 않는다.[11] 아래의 표 작성과 분석을 위해 다음과 같은 자료를 참고 하였다. CUG 평가 방법론, 더 타임스/선데이 타임스 평가 방법론, 더 가디언 평가 방법론, 참고1
비교를 돕기 위해 THE 평가 방법론, QS 평가 방법론도 같이 첨부한다.[12] 데이터 출처: UCAS[13] 데이터 출처: NSS의 설문조사 - 수업을 수강한 학생들을 대상으로 진행된 설문조사 데이터를 활용.[14] 데이터 출처: HESA의 DLHE에 의해 진행된 설문조사[15] 데이터 출처: NSS의 설문조사 - 마지막 학기를 다니는 학생들만을 대상으로 학교생활에 대한 본인의 종합적인 만족도를 설문조사함.[16] 데이터 출처: HESA[17] 데이터 출처: HESA[18] 데이터 출처: NSS의 설문조사 - 수업을 수강한 학생들을 대상으로 진행된 설문조사 데이터를 활용.[19] value-added factor is included which compares students' degree results with their entry qualifications, described by the newspaper as being based upon a sophisticated indexing methodology that tracks students from enrolment to graduation, qualifications upon entry are compared with the award that a student receives at the end of their studies"
- 더 가디언
간단히 얘기하면 학업을 졸업까지 완료한 학생들의 평균 학점.
데이터 출처: HESA[20] 데이터 출처: HESA - 학생들이 중도에 포기(Drop out)하지 않고 끝까지 학위를 마치는지.[21] 데이터 출처: UCAS[22] 데이터 출처: NSS의 설문조사
강의력(Teaching excellence) 포함[23] 데이터 출처: 원 출처는 Higher Education Funding Council for England(HEFCE)이었으나 연구 관련 통계에 대한 전권은 REF로 이관됨. 즉 REF 데이터를 씀[24] 데이터 출처: HESA[25] 데이터 출처: HESA[26] 데이터 출처: HESA[27] 데이터 출처: HESA의 DLHE에 의해 진행된 설문조사[28] 데이터 출처: NSS의 설문조사[29] Z-score(각 데이터 값이 평균으로부터 얼마나 떨어져 있는지를 나타내는 표준편차 숫자로서 Z-점수가 0이면 정확히 평균에 해당)[30] 데이터 출처: REF[31] 데이터 출처: REF[32] 데이터 출처: UCAS[33] 데이터 출처: HESA[34] 데이터 출처: HESA[35] 데이터 출처: HESA[36] 데이터 출처: HESA[37] 데이터 출처: HESA[38] 데이터 출처: HESA의 DLHE에 의해 진행된 설문조사[39] 이에 대해선 후술 하겠음[40] 시행사인 Ipsos Mori는 NSS 조사를 위해 UK higher education funding bodies의 지원을 받는다.[41] 학부의 1, 2 학년생이나 대학원생들은 NSS 설문조사의 대상이 아니다.[42] 종강때 클래스에서 직접 작성하거나 혹은 이메일로 설문지가 발송된다. 설문에 응할지 말지의 여부는 강제가 아니며 학생 자유다. 허나 클래스에서 작성시 교수가 나이스 하게 써주세요 하면 설문조사를 거부할 수 있는 학생이 몇 명이나 있을지는 의문이다.[43] NSS 2020 Core Questionnaire[44] 대학의 강의력 평가. 등급은 최고 등급부터 차례대로 골드, 실버, 브론즈이다.[45] TEF가 NSS 설문조사 질의에 포함되어 있다는 뜻이다. 즉 NSS 설문조사를 통해 위 국내 대학평가 기관들의 발행하는 랭킹의 근간이 되는 두 가지 점수인 TEF(강의력 평가) 점수와 학생 만족도 점수가 각각 산출된다.[46] Teaching Excellence and Student Outcomes Framework Specification, TEF metrics example workbook 참고[47] 입학부터 졸업까지 마치는 비율
중퇴율에 대한 비판은 후술[48] DLHE에 대해선 후술[49] NSS overhaul shows ‘dangerous’ drift towards graduate outcomes[50] 그만큼 하락도 극단적이다.[51] CUG와 더 타임스/더 선데이 타임즈의 랭킹이 더 가디언 유니버시티 가이드보다 NSS 조사결과에 덜 극단적인 이유는 학생 만족도 및 TEF가 차지하는 비중이 더 가디언 유니버시티 가이드보다 낮고, Academic Service Spend(학교가 도서관이나 IT 서비스같은 지원 프로그램에 얼마나 투자를 하는지), Facilities Spend(학교가 학생 지원 시설(예를 들어 재학생 정신 건강 및 심리상담 프로그램, 커리어 개발 센터 등)에 얼마나 투자를 하는지), 연구 수준 같은 평가 항목에도 가중치를 부여하기 때문이다.[52] 영국내 대학의 교수와 교직원들의 노동 조합[53] 참고. 킹스 칼리지 런던, 유니버시티 칼리지 런던, 옥스퍼드 대학교, 레딩 대학교, 브리스톨 대학교, 골드스미스 대학교, 브루넬 대학교, 센트럴 연설연극학교, 코톨드 예술학교, 런던 예술대학교, 워릭 대학교, 바스 대학교, 맨체스터 대학교, 셰필드 대학교, 셰필드 할람 대학교, 리버풀 대학교, 퀸 메리 런던 대학교, 서식스 대학교, 애버딘 대학교, SOAS, 스코틀랜드 왕립음악원, 바스 스파 대학교, 런던 정치경제대학교, 케임브리지 대학교. 이 대학들이 연합하여 보이콧을 한건 2017-18 한 해이다.[54] Cambridge Student Union
참고[55] 킹스 칼리지 런던, 유니버시티 칼리지 런던[56] Will the Teaching Excellence Framework be a licence for universities to raise fees?[57] What’s the deal with the TEF?
Uni fees to rise: What does this mean for you?[58] 당시 강의 자료 첨부[59] BBC - University teaching grades invalid, statistics body says[60] 특정 기간이 정해져 있는건 아니다. 단지 정확한 통계를 위해선 누적된 데이터를 필요로 하기에 몇 해에 한번씩 조사결과를 발표하는 것이다.[61] REF 2021 submission deadline[62] REF 2014 조사 결과는 아래의 결론 항목에 이미 서술되어 있다. 참고할것.[63] 참고[64] THE Data Source, Data Source[65] 예를 들어 A*=56, A=48, B=40.....[66] 그래서 각 과목별 순위도 개재하고 있다. 정 학교별로 랭킹을 나누고 싶다면 과목별로 하도록 하자. 영국 학생들도 이를 잘 알고 과목별 순위를 중시한다.[67] 옥스퍼드 대학교, UCL, 임페리얼 칼리지 런던, 킹스 칼리지 런던, 맨체스터 대학교[68] 물론 REF도 비판점이 다수 존재한다. 이 세상에 비판점이 없는 통계는 있을 수 없으며, REF는 영국의 어느 학교가 한정된 기간내에 얼마만큼의 연구실적을 냈는지를 기준으로 대학을 판단하는 하나의 통계이다.
#1, #2[69] REF 2014 Result, Overall by 더 가디언, Overall by THE, Research Impact
REF는 연구능력을 평가 및 이에관한 정량적 수치를 제공하는 정부기관이지 랭킹을 산출하는 기관이 아니다. REF의 조사 결과를 받아 더 가디언 유니버시티 가이드과 THE가 랭킹으로 정리한 것이 아래 표의 첫번째, 두번째 Column이다.[70] 워릭 대학교와 공동 7위[71] 유니버시티 칼리지 런던(UCL)과 공동 7위[72] Research Professional News(RPN)
결과, 견본 - 데일리 메일 기사
결과 산출 방법[73] 참고[74] 참고
물론 그 다음 연도의 결과는 다를 수 있다. 다만 아래 순위는 일반 대중에게 공개된 최신 데이터를 활용한 것일 뿐이다.[75] Great British Class Survey는 맨체스터 대학교와 런던 정치경제대학교, 그리고 요크 대학교의 공동 연구 협력을 통해 시행된 조사이다.[76] The universities which produce the UK’s wealthiest and most influential grads - Great British Class Survey 조사결과에 관한 학생 기사
Social Class in the 21st Century by Mike Savage review – the emotional effect of class[77] HESA가 제공하는 Graduate Outcome Survey 데이터와 영국의 구인구직 사이트인 Adzuna의 데이터를 활용해 정리한 2020년 10월 28일자 기사로 어느 전공분야가 평균적으로 돈을 많이 받는지에 대한 정보 또한 볼 수 있다.[78] 참고1
단 명심해야 할 것이 HESA는 영국 고등교육기관들을 대상의 통계를 제공하는 공식 기관일 뿐 랭킹을 산출하는 기관이 아니다. 또한 구인구직 사이트들이 자체적인 데이터를 통해 산출하는 자신들만의 연봉 랭킹은 각 사이트에 등록된 유저들의 정보만으로 산출한 것일뿐 공식적인 자료는 아니니 그냥 참고용으로만 보는 것이 좋다.
출처 1, 출처 2[3] 더 가디언 - Ivy League for the UK
영국의 상위 24개 대학들이 모여 결성한 기관.[4] 국내 대학 평가기관인[5] 영국에 본사를 둔 영국의 세계대학 평가 기관[6] THE 세계 대학 랭킹은 더 타임스에서 발간하는 세계대학 평가다. 즉 더 타임스는 자국 랭킹과 세계 랭킹을 둘 다 발간한다.[7] QS와 THE의 세계랭킹의 경우 영어권 국가(미국, 영국, 캐나다, 호주, 싱가포르 등)의 대학들에 더 유리하게 작용한다는 비판이 있다. 이는 이들이 진행하는 설문조사에서 주로 오는 비판으로 설문조사를 영미권의 관점에서 진행하는거 아니냐는 비판이다. 이에 THE는 14개의 언어로 설문조사를 진행하고 UN의 데이터 또한 활용하는 등 이러한 비판을 이겨내기 위해 노력하고 있다.참고[8] 국내 대학 평가기관들에서 학교의 학업 환경 및 지원을 평가하는 항목은 다음과 같다.
Academic Service Spend: 학교가 도서관이나 IT 서비스같은 지원 프로그램에 얼마나 투자를 하는지
Facilities Spend: 학교가 학생 지원 시설(예를 들어 재학생 정신 건강 및 심리상담 프로그램, 커리어 개발 센터 등)에 얼마나 투자를 하는지[9] 강의력을 평가하는게 아닌 대학이 학생 시설에 얼마나 투자했는지, 시설은 어떤지 등의 강의력과는 별 상관이 없는 평가기준들이 있기 때문.[10] NSS manipulation claims ‘raise questions’ about data reliability
세계대학 랭킹들도 그들의 평가기준에 대한 비판이 있을 지언정, 그들이 사용하는 데이터에 대한 신뢰도에 문제가 제기되진 않는다.[11] 아래의 표 작성과 분석을 위해 다음과 같은 자료를 참고 하였다. CUG 평가 방법론, 더 타임스/선데이 타임스 평가 방법론, 더 가디언 평가 방법론, 참고1
비교를 돕기 위해 THE 평가 방법론, QS 평가 방법론도 같이 첨부한다.[12] 데이터 출처: UCAS[13] 데이터 출처: NSS의 설문조사 - 수업을 수강한 학생들을 대상으로 진행된 설문조사 데이터를 활용.[14] 데이터 출처: HESA의 DLHE에 의해 진행된 설문조사[15] 데이터 출처: NSS의 설문조사 - 마지막 학기를 다니는 학생들만을 대상으로 학교생활에 대한 본인의 종합적인 만족도를 설문조사함.[16] 데이터 출처: HESA[17] 데이터 출처: HESA[18] 데이터 출처: NSS의 설문조사 - 수업을 수강한 학생들을 대상으로 진행된 설문조사 데이터를 활용.[19] value-added factor is included which compares students' degree results with their entry qualifications, described by the newspaper as being based upon a sophisticated indexing methodology that tracks students from enrolment to graduation, qualifications upon entry are compared with the award that a student receives at the end of their studies"
- 더 가디언
간단히 얘기하면 학업을 졸업까지 완료한 학생들의 평균 학점.
데이터 출처: HESA[20] 데이터 출처: HESA - 학생들이 중도에 포기(Drop out)하지 않고 끝까지 학위를 마치는지.[21] 데이터 출처: UCAS[22] 데이터 출처: NSS의 설문조사
강의력(Teaching excellence) 포함[23] 데이터 출처: 원 출처는 Higher Education Funding Council for England(HEFCE)이었으나 연구 관련 통계에 대한 전권은 REF로 이관됨. 즉 REF 데이터를 씀[24] 데이터 출처: HESA[25] 데이터 출처: HESA[26] 데이터 출처: HESA[27] 데이터 출처: HESA의 DLHE에 의해 진행된 설문조사[28] 데이터 출처: NSS의 설문조사[29] Z-score(각 데이터 값이 평균으로부터 얼마나 떨어져 있는지를 나타내는 표준편차 숫자로서 Z-점수가 0이면 정확히 평균에 해당)[30] 데이터 출처: REF[31] 데이터 출처: REF[32] 데이터 출처: UCAS[33] 데이터 출처: HESA[34] 데이터 출처: HESA[35] 데이터 출처: HESA[36] 데이터 출처: HESA[37] 데이터 출처: HESA[38] 데이터 출처: HESA의 DLHE에 의해 진행된 설문조사[39] 이에 대해선 후술 하겠음[40] 시행사인 Ipsos Mori는 NSS 조사를 위해 UK higher education funding bodies의 지원을 받는다.[41] 학부의 1, 2 학년생이나 대학원생들은 NSS 설문조사의 대상이 아니다.[42] 종강때 클래스에서 직접 작성하거나 혹은 이메일로 설문지가 발송된다. 설문에 응할지 말지의 여부는 강제가 아니며 학생 자유다. 허나 클래스에서 작성시 교수가 나이스 하게 써주세요 하면 설문조사를 거부할 수 있는 학생이 몇 명이나 있을지는 의문이다.[43] NSS 2020 Core Questionnaire[44] 대학의 강의력 평가. 등급은 최고 등급부터 차례대로 골드, 실버, 브론즈이다.[45] TEF가 NSS 설문조사 질의에 포함되어 있다는 뜻이다. 즉 NSS 설문조사를 통해 위 국내 대학평가 기관들의 발행하는 랭킹의 근간이 되는 두 가지 점수인 TEF(강의력 평가) 점수와 학생 만족도 점수가 각각 산출된다.[46] Teaching Excellence and Student Outcomes Framework Specification, TEF metrics example workbook 참고[47] 입학부터 졸업까지 마치는 비율
중퇴율에 대한 비판은 후술[48] DLHE에 대해선 후술[49] NSS overhaul shows ‘dangerous’ drift towards graduate outcomes[50] 그만큼 하락도 극단적이다.[51] CUG와 더 타임스/더 선데이 타임즈의 랭킹이 더 가디언 유니버시티 가이드보다 NSS 조사결과에 덜 극단적인 이유는 학생 만족도 및 TEF가 차지하는 비중이 더 가디언 유니버시티 가이드보다 낮고, Academic Service Spend(학교가 도서관이나 IT 서비스같은 지원 프로그램에 얼마나 투자를 하는지), Facilities Spend(학교가 학생 지원 시설(예를 들어 재학생 정신 건강 및 심리상담 프로그램, 커리어 개발 센터 등)에 얼마나 투자를 하는지), 연구 수준 같은 평가 항목에도 가중치를 부여하기 때문이다.[52] 영국내 대학의 교수와 교직원들의 노동 조합[53] 참고. 킹스 칼리지 런던, 유니버시티 칼리지 런던, 옥스퍼드 대학교, 레딩 대학교, 브리스톨 대학교, 골드스미스 대학교, 브루넬 대학교, 센트럴 연설연극학교, 코톨드 예술학교, 런던 예술대학교, 워릭 대학교, 바스 대학교, 맨체스터 대학교, 셰필드 대학교, 셰필드 할람 대학교, 리버풀 대학교, 퀸 메리 런던 대학교, 서식스 대학교, 애버딘 대학교, SOAS, 스코틀랜드 왕립음악원, 바스 스파 대학교, 런던 정치경제대학교, 케임브리지 대학교. 이 대학들이 연합하여 보이콧을 한건 2017-18 한 해이다.[54] Cambridge Student Union
참고[55] 킹스 칼리지 런던, 유니버시티 칼리지 런던[56] Will the Teaching Excellence Framework be a licence for universities to raise fees?[57] What’s the deal with the TEF?
Uni fees to rise: What does this mean for you?[58] 당시 강의 자료 첨부[59] BBC - University teaching grades invalid, statistics body says[60] 특정 기간이 정해져 있는건 아니다. 단지 정확한 통계를 위해선 누적된 데이터를 필요로 하기에 몇 해에 한번씩 조사결과를 발표하는 것이다.[61] REF 2021 submission deadline[62] REF 2014 조사 결과는 아래의 결론 항목에 이미 서술되어 있다. 참고할것.[63] 참고[64] THE Data Source, Data Source[65] 예를 들어 A*=56, A=48, B=40.....[66] 그래서 각 과목별 순위도 개재하고 있다. 정 학교별로 랭킹을 나누고 싶다면 과목별로 하도록 하자. 영국 학생들도 이를 잘 알고 과목별 순위를 중시한다.[67] 옥스퍼드 대학교, UCL, 임페리얼 칼리지 런던, 킹스 칼리지 런던, 맨체스터 대학교[68] 물론 REF도 비판점이 다수 존재한다. 이 세상에 비판점이 없는 통계는 있을 수 없으며, REF는 영국의 어느 학교가 한정된 기간내에 얼마만큼의 연구실적을 냈는지를 기준으로 대학을 판단하는 하나의 통계이다.
#1, #2[69] REF 2014 Result, Overall by 더 가디언, Overall by THE, Research Impact
REF는 연구능력을 평가 및 이에관한 정량적 수치를 제공하는 정부기관이지 랭킹을 산출하는 기관이 아니다. REF의 조사 결과를 받아 더 가디언 유니버시티 가이드과 THE가 랭킹으로 정리한 것이 아래 표의 첫번째, 두번째 Column이다.[70] 워릭 대학교와 공동 7위[71] 유니버시티 칼리지 런던(UCL)과 공동 7위[72] Research Professional News(RPN)
결과, 견본 - 데일리 메일 기사
결과 산출 방법[73] 참고[74] 참고
물론 그 다음 연도의 결과는 다를 수 있다. 다만 아래 순위는 일반 대중에게 공개된 최신 데이터를 활용한 것일 뿐이다.[75] Great British Class Survey는 맨체스터 대학교와 런던 정치경제대학교, 그리고 요크 대학교의 공동 연구 협력을 통해 시행된 조사이다.[76] The universities which produce the UK’s wealthiest and most influential grads - Great British Class Survey 조사결과에 관한 학생 기사
Social Class in the 21st Century by Mike Savage review – the emotional effect of class[77] HESA가 제공하는 Graduate Outcome Survey 데이터와 영국의 구인구직 사이트인 Adzuna의 데이터를 활용해 정리한 2020년 10월 28일자 기사로 어느 전공분야가 평균적으로 돈을 많이 받는지에 대한 정보 또한 볼 수 있다.[78] 참고1
단 명심해야 할 것이 HESA는 영국 고등교육기관들을 대상의 통계를 제공하는 공식 기관일 뿐 랭킹을 산출하는 기관이 아니다. 또한 구인구직 사이트들이 자체적인 데이터를 통해 산출하는 자신들만의 연봉 랭킹은 각 사이트에 등록된 유저들의 정보만으로 산출한 것일뿐 공식적인 자료는 아니니 그냥 참고용으로만 보는 것이 좋다.