"비상식적 조사로 결과 호도"
미국의 시사 주간지 〈유에스 뉴스 앤드 월드 리포트〉(〈유에스 뉴스〉)가 1983년 이래 일반의 지대한 관심 속에 발표해온 '미국 최고 대학' 조사 결과가 요즘 호되게 비판받고 있다.
해마다 이 때쯤 발표되는 평가 결과는 일부 시비에도 불구하고 대학 지망생은 물론 학부모와 학교 관계자, 졸업생 모두에게 막대한 영향을 미쳐 왔다. 이를테면 노스캐롤라이나 대학과 오하이오 주립 대학 등 일부 대학이 순위를 끌어올리기 위해 엄청난 힘을 쏟아 붓는가 하면, 심지어 한 지방 대학은 〈유에스 뉴스〉에 정보를 제대로 제공하지 않아 순위가 떨어지게 만든 부총장을 해임하기도 했다.
대학에 지원하는 철이면 학부모·동창생·대학 당국 모두가 〈유에스 뉴스〉의 조사 결과에 목을 매고 있다. 이런 폭발적인 관심은 잡지 판매에도 영향을 준다. 지난해 대학 평가를 커버 스토리로 다룬 특집호 가판이 전주보다 40%나 증가한 5만6천부나 팔렸으며, 관련 웹사이트를 찾은 사람은 8백만명에 달했다.
평가 기준 오락가락…대학 서열 들쭉날쭉
최종 평가가 나오면 대학들은 희비가 엇갈리게 마련이지만, 대체적으로 결과는 일반의 통념을 크게 벗어나지 않는다. 즉 하버드·예일·프린스턴·스탠퍼드 등 전통 명문이 상위권을 장식한다. 그러나 이런 통념을 깬 '사건'이 1999년에 일어났다. 학생 수 9백명에 불과한 서부의 명문 캘리포니아 공과대학, 일명 칼텍이 1위를 차지한 것이다. 그 전 해에 9위에 머물렀던 칼텍이 최상위권 대학들을 제치고 1위를 차지하자 사회적으로 큰 논란이 일었다. 왜 그런 결과가 나왔을까. 결론부터 말하면 〈유에스 뉴스〉가 기준을 달리 적용했기 때문이다. 즉 '학생 1인당 교육투자비용'이라는 요소에 가중치를 과도하게 부여한 결과였다. 칼텍은 학생 1인당 7만4천 달러를 투자한 데 비해 예일은 4만5천 달러, 하버드는 4만3천 달러를 각각 투자했다. 결과는 칼텍의 승리였다.
그러나 이에 따른 사회적 논란이 커지자 〈유에스 뉴스〉는 이듬해 이 대목에 대한 가중치를 재조정했다. 그 결과 프린스턴이 1위를 차지했고, 칼텍은 4위로 밀려났다. 말하자면 2년 사이에 칼텍은 9위에서 1위로 껑충 뛰었다가 다시 4위로 밀려나는 널뛰기를 한 것이다.
이처럼 평가 기준을 조금만 달리 해도 대학 서열이 들쭉날쭉 변하는 조사 결과를 과연 믿어야 할까. 〈뉴욕 타임스〉는 지난 8월27일자 사설을 통해 '〈유에스 뉴스〉의 조사는 대학 서열에 대한 지극히 자의적인 판단을 제공할 뿐'이라고 정면 공격했다. 유명한 인문 대학인 바드 대학의 레온 보스타인 총장은 〈타임〉과 가진 회견에서 이런 조사 결과야말로 지금까지 경험한 가장 성공적인 언론 사기극이라고 깎아내렸다.
가장 호된 비판은 〈유에스 뉴스〉에서 1997년부터 2년간 대학 평가 작업을 주도한 에이미 그레이엄 여사로부터 나왔다. 그녀는 시사 월간지 〈워싱턴 먼슬리〉 9월호에서 "〈유에스 뉴스〉가 각 대학에 관한 자료를 수집하고 평가하는 방법이 상식을 벗어나 결과를 호도하고 있다"라고 지적했다. 이 잡지의 니컬러스 톰슨 편집장과 공동으로 집필한 '파괴된 대학 서열'이라는 기고문에서 그녀는 〈유에스 뉴스〉가 대학의 재정도와 평판, 입학생의 성적을 중시할 뿐 교육의 질에 대한 평가는 외면하고 있다고 비판했다.
〈유에스 뉴스〉의 대학 평가와 관련한 문제점 가운데 하나는 평가하는 기준이 객관적이지 못하다는 점이다. 칼텍의 순위 변화가 단적인 예다. 과거 하와이 대학은 단지 이 주간지가 제시한 설문지를 꼼꼼히 답한 덕분에 1990년대 중반에 서열이 무려 50 계단 이상 뛰기도 했다. 또 연구 중심 대학인 존스 홉킨스 대학은 1999년 7위권에 진입했다가 이듬해 기준이 달라지는 바람에 14위로 밀려났다. 심지어 일부 대학은 순위를 끌어올리기 위해 가장 쉬운 기준으로 꼽히는 동창회 기부금을 늘리려고 총력을 기울이기도 했다.
〈유에스 뉴스〉에 따르면, 평가 부문은 학교 평판·재학률·교수 자질·입학 난이도·재정도·동창회 기부금·학생투자율 등 일곱 가지다. 이 가운데 가장 큰 비중을 차지하는 요인은 가중치가 무려 25%나 되는 학교 평판. 〈유에스 뉴스〉는 전국 대학의 총장·학장·학생처장의 의견을 주로 참작하는데, 지난해의 경우 모두 3천9백69명 중 67%로부터 답변을 얻어냈다. 이런 식으로 일곱 가지 기준에 가중치를 부여해 합산한 뒤 가장 많은 점수가 나온 학교에 100점 만점을 준 뒤 이를 기준으로 다른 학교들의 서열을 매긴다.
문제는 평가 기준을 적용하는 데 객관성과 공정성을 얼마나 유지하느냐 하는 점이다. 〈유에스 뉴스〉는 가중치가 붙는 일곱 가지 기준 외에도 학문적 우수도와 관련된 16개 분야를 추가로 조사해 최대한 공정성을 기하고 있다고 밝혔다.
그러나 그레이엄 여사에 따르면, 1983년 〈유에스 뉴스〉가 대학 평가를 도입할 당시만 해도 하버드·예일·프린스턴 같은 명문 대학들이 늘 상위 그룹에 오르도록 평가 기준을 마련했다고 한다. 〈유에스 뉴스〉 편집 간부들 대부분이 이 대학들을 졸업했다는 점말고도 일반 대중이 이들 대학을 최우수 대학이라고 기대하리라는 점도 작용했다는 것이다. 실제로 1983년 이후 지금까지 하버드를 비롯한 명문 대학들은 거의 예외 없이 1위부터 10위까지를 휩쓸었다.
〈유에스 뉴스〉의 평가 기준이 구설에 오르자 1996년 교육 전문가들이 모여 공공정책 기관인 퓨 재단의 재정 지원을 받아 독자적으로 대학 평가에 나섰다. '학생참여 전국조사'(NSSE)라고 알려진 이 평가에는 전국 4백20개 대학이 참여했으나 이른바 명문 대학 대다수가 참여하지 않음으로써 실효를 거두지 못했다.
이들은 설문지에 학생들이 하루 몇 시간씩 공부하는지, 다른 정치적 견해를 가진 동료 학생이나 교수와 대화를 나누는지 등을 포함함으로써 기존 학교 평판보다는 교육의 질에 더 초점을 맞추었다. 그 결과 벨로와·엘론·스위트 브라이어·센터 등 다소 생소한 네 대학이 최고 대학으로 선정되었다. 문제는 이 결과가 하버드나 예일을 최고의 대학으로 간주하는 일반의 통념과는 한참 거리가 있다는 데 있다. 〈유에스 뉴스〉는 한때 NSSE 결과를 대학 평가에 반영할지를 검토했으나 주요 대학이 포함되지 않았다는 이유로 무시하기로 했다.
"대학 서열 조사, 미인대회와 다를 바 없다"
대학 평가와 관련한 논란이 커지자 〈유에스 뉴스〉는 1997년 전국여론조사회(NORC)에 자체 평가를 의뢰했다. 이 단체는 최종 보고서에서 〈유에스 뉴스〉가 여러 평가 기준을 합산해 내놓는 현재의 조사 방식이 '경험적으로나 이론적으로 뒷받침할 수 있는 근거를 제시하지 못하고 있다'고 지적했다. 이 단체는 또 학교 평판도와 학생 선택도 등 일곱 가지 기준을 1년 단위로 산출하기보다는 최소 3년치 자료를 평균화함으로써 오차 폭을 최소한으로 줄일 필요가 있다는 점도 지적했다. 이런 지적에 대해 현재 '미국 최고 대학' 평가 작업을 주도하는 〈유에스 뉴스〉의 로버트 모스 씨는 별다른 반응을 보이지 않은 것으로 알려졌다.
아무튼 '미국 최고 대학' 기획물은 1983년 이래 이 주간지의 영향력과 상업성을 동시에 보장한 최대 히트작임에는 분명하다. 그러나 "대학 교육의 질에 대한 진지한 분석이 결여되어 있는 현재의 대학 서열 조사는 미인대회와 하등 다를 것이 없다"라는 전 스탠퍼드 대학 총장 케네디 박사의 지적도 음미할 가치가 있다.
