::: 언론 기관에 의한 대학 평가의 실상과 과제 :::
  김병주 (영남대 교육학과 교수)
  언제부터인가 우리 사회, 특히 대학을 포함한 학교 사회에는 ‘평가’라는 단어가 전면에 등장하기 시작하였으며, 교육부와 대교협의 평가와 함께 언론 기관에서도 대학에 대한 평가를 시작하였다. 중앙일보는 1994년부터 대학의 여건을 평가하여 순위를 매겨 오고 있으며, 동아일보는 대학의 정보화 수준을 평가하여 순위를 매겨 오고 있다. 이처럼 고등 교육 기관에 대한 평가가 일반화되고 사회적 관심이 고조되면서 기존의 교육 기관 평가에 대한 비판의 목소리 또한 커지고 있다. 여기서는 언론 평가에 초점을 맞추어 대학의 실상과 과제를 논의하고자 한다.

Ⅱ. 언론 기관에 의한 대학 평가 현황

1. 중앙일보의 대학 평가

중앙일보는 지난 1994년부터 전국 대학 평가를 실시해 오고 있다. 중앙일보는 우리 대학들도 세계 교육의 흐름에 뒤쳐져서는 안 된다는 생각으로 대학 평가를 창간 기념 사업으로 선정했다고 밝히고 있다. ‘교육 수요자에게는 올바른 대학 정보를 제공하고 대학가에는 공정한 경쟁 원리를 도입해 대학 개혁을 선도하자’는 취지라는 것이다.

중앙일보의 대학 평가는 매년 대학 관계자·전문가들의 조언을 받아 조금씩 변화해 왔다. 1997년 평가에서는 대학 개혁 추세를 반영하여 학교 정보화·자원·봉사 등을 다룬 ‘대학 개혁도’라는 평가 부문을 새로 추가했으며, 11개 교육 대학에 대한 평가도 실시했다. 1998년에는 설문 조사와 자문단의 조언을 받아 평가 방법을 보완, 재정·경영 부문의 비중을 높이고 대학의 학생 충원율, 중도 포기율, 사립 대학의 부채 비율, 부채 우량도 등 새로운 지표를 추가하였다. 특히 대학의 노력하는 모습을 평가에 반영하기 위해 1년간 교수당 학생 수 등 4개 핵심 지표가 얼마나 발전했는가를 평가하는 ‘흐름’(flow) 개념을 대학 평가에 도입했다.

1994년 이래 중앙일보의 대학 평가 영역은 크게 교육 여건 및 시설, 교수·연구, 재정·경영, 평판도, 개혁도의 5가지 영역으로 구성되어 있으며, 평가 영역 및 배점이 연도에 따라 변화되는 모습을 보여주고 있다. 1994년의 경우에는 종합 순위를 산출하지 않았기 때문에 평가 영역별 가중치를 설정하지 않았으며, 교수 영역과 연구 논문 영역을 별도의 영역으로 구분·평가하였다. 5가지의 영역별로는 적게는 15개에서 많게는 52개의 복잡한 하위 지표에 의해 평가가 이루어졌다.

이러한 평가 지표에 따라 30위까지의 종합 순위와 영역별 순위를 발표하였다. 대체로 과학 기술 중심 대학이 상위를 차지하여 왔으며, 5, 6위까지는 비교적 안정적인 순위의 모습을 보여 주고 있다. 하지만 그 이후에는 연도에 따라 평가 순위가 매우 달라지는 모습을 보여 주고 있다.

2. 아시아 언론의 대학 평가

(1) Asiaweek의 대학 평가

Asiaweek는 1997년부터 아시아의 대학들에 대한 서열을 매겨 왔다. 처음에는 다소 빈약한 자료에서 출발하여 대학 평가를 시작한 Asiaweek는, 점차로 다양한 자료를 확보하기 시작하면서 나름대로 아시아 및 호주권 대학들에 대한 순위 매김이 자리를 잡아가고 있다는 평가를 받기도 한다. 그러나 1999년부터는 도쿄 대학이 자료 제출을 거부하고, 북경 대학을 포함한 중국의 많은 대학들이 정치적인 이유 등의 몇 가지 이유로 평가를 거부하였으며, 2000년에는 대만의 대학들이 “상업적인 기관”이 수행하는 조사 요구에 응하지 않기로 하는 등 아시아권의 모든 대학에 대한 조사는 아직 이루어지지 못하고 있다.

평가의 영역은 학생의 질(25점), 교수의 질(25점), 연구(20점), 재원(10점), 대학 평판도(20점) 등 다섯 개이다. 예컨대 학생 선발도는 입학 경쟁률, 신입생 등록률, 신입생의 평균 국가 입학 시험 점수 등에 의해 산출된다. 교수 자원은 교수 박사 학위 소지율, 봉급, 교수당 교육비, 교수-학생 비율 등에 의해 산출된다. 각 지표들에 대해서는 가장 높은 대학에서부터 가장 낮은 대학까지 순위가 매겨진다. 가장 높은 대학에는 100점이 부여되며, 다른 대학들은 가장 높은 대학의 점수에 대한 백분율로 점수가 할당된다.

아시아권 대학에 대한 평가 결과는 연도에 따라 매우 다른 모습을 보여 주고 있다. 대학의 모습이 1, 2년만에 급격하게 바뀔 수 없음을 고려할 때, 이는 평가 지표 및 평가 방법상에 문제가 있었음을 시사하는 것이다. 예컨대 평판도 순위가 1, 2년만에 급변하기는 어렵다. 오랜 역사와 전통을 반영하는 것이기 때문이다. 그러나 대학에 따라서는 평판도의 순위가 올라갔다 내려갔다를 반복하는 모습을 보여 주고 있다.

연도별 순위가 가장 많이 변하는 모습을 보여 주는 것은 학생 선발도 평가 영역이다. 이는 해마다 입학 경쟁률이 달라지는데, 입학 경쟁률이 1/3을 차지하기 때문이다. 이와 함께 연도에 따라 안정적인 지표로 판단되는 교수 자원 영역과 재정 영역의 평가 결과에서도 연도에 따라 매우 달라지는 모습을 보여 주고 있다. 상대적으로 교수의 연구 실적에 대한 평가 결과가 가장 안정된 변화 모습을 보여 주지만, 이 역시 크게 안정적이지는 못하다.

(2) 중국 왕다줂網大: netbig.com줃의 대학 평가

중국청년보(中國靑年報 : cyd.com.cn)와 교육 관련 포털사이트인 왕다[網大: netbig.com]는 1999년부터 ‘중국 대학 평가 조사’를 실시하였으며, 올해로 2년째를 맞고 있다. 올해의 평가는 중국 과학원 및 중국 공정원 소속 연구원 130여 명과 저명 학자 50여 명, 대학 총장과 기업 총수 100여 명 등 모두 304명의 학계·경제계 인사를 상대로 대학의 평판도, 학술적 지위, 학생 수준, 교사 자질, 재원 등 6개 부문으로 나눠 이루어졌다.

평가 대상은 중국 정부의 ‘211공정’이라는 교육 발전 계획에 참여하는 ‘중점 대학’(100개의 종합대학 및 과학대학, 교육대학)과 비중점 대학을 구분하여 평가하였다. 주요 평가 지표는 대학의 평판도, 학문 프로그램수, 학생 선발도, 교수 자원, 연구, 재정 등이다. ‘왕다’는 중점 대학의 순위를 117위까지 발표하였다.

3. US News & World Reprots의 대학 평가

여러 기관에서 다양한 대학 평가를 하고 있는 미국에서 US News & World Reports(이하 US News)의 대학 평가는 학부 평가(가을)와 전문 대학원(봄) 평가로 이원화돼 매년 두 차례 발표된다. US News 대학 평가의 가장 큰 특징은 평판도 조사이다. 1987년 대학 평가 첫해에는 각 대학의 총장과 학장들에게 “당신의 자녀들에게 추천할 만한 대학”을 물어 이 조사만으로 대학 순위를 매겼다.

1988년부터는 평판도 조사와 함께 객관적 지표를 포함하기 시작, 신입생들의 고등학교 성적, 수능 점수(SAT) 등 4개의 하부 지표로 구성되는 학생 선발 관련 지표, 교수당 학생 수, 교수의 월급 등 5개의 하부 지표를 포함하는 교수 관련 지표, 연구·장학금 등 재정 관련 지표, 졸업률과 동창생들의 기부 금액 수를 반영하는 동창의 만족도 등 20여 개의 지표를 사용해 왔으며, 현재는 16개 지표가 사용된다. 법과 대학원이나 경영 대학원 평가는 공통 지표 외에 졸업생들의 초임 수준 등 취업 관련 지표를 포함하기도 한다. 대학원 평가를 위한 평판도 조사는 학계 이외에 의사·법조인 등 관련 전문 분야 일반인도 대상으로 한다.

학부 순위는 1천 4백여 개 전국 대학을 대학 규모와 특성에 따라 나눈 네 그룹별로 순위를 낸다. 즉, 전국적 대학과 지역적 대학, 연구 중심 종합 대학과 교양 대학의 구분이 그것이다. 각 대학은 동일 범주 내에서만 순위가 매겨진다. 그리고 16개의 평가 지표에 따라 자료를 모으고 지표별 가중치를 부여하고, 점수에 따라 순위를 매긴다. 대체로 범주별 25%만이 순위가 매겨지며, 나머지는 집단별(2류, 3류, 4류)로 분류된다. US News가 대학을 평가하기 전에 대학을 범주별로 분류하는 목적은 비슷한 목적을 갖는 대학끼리 비교하기 위함이다. 이러한 US News의 대학 평가 작업에 미국 대학들의 참여는 보편화됐다. 3백 90개 주요 대학 중 단 한 개 학교만이 ‘큰 관심이 없다’는 이유로 빠졌다.

US News는 평가 방법을 개선하기 위해 매년 이를 정교화한다. 예컨대 시간이 흐르면서 학생, 교수, 교육의 과정에 투입되는 자원 등과 같은 투입 척도에는 강조점이 덜 주어졌으며, 교육 과정의 결과로 나타나는 산출 척도에 강조점이 더 주어져 왔다. 2000년의 중요한 변화의 하나로는 “표준화”라는 통계 절차를 채택한 것이다. 예컨대, 과거에는 A대학은 학생당 20만 불을 지출하고, B대학은 10만 불을, C대학은 5만 불을 지출했다고 할 경우, 그 대학들이 교육비 지출 상위 대학이라면, US News는 그 대학들을 1, 2, 3위로 인정하고 그들 대학간 불균등의 규모에 대해서는 점수를 부여하지 않았다. 하지만 2000년에는 가중치를 부여하여 이러한 차이의 규모를 고려하였다. 이처럼 평가 방법을 바꿈으로써 상대적으로 Caltech 등의 공대 중심 대학이 덕을 보았다.

US News는 대학에 대한 광범위한 조사를 통하여 앞에서와 같은 대학 평가와 서열화 이외에도 학생과 학부모가 대학을 선택하는 데 도움을 줄 수 있는 다양한 자료들을 “Web-Exclusive Rankings”라는 이름으로 제공하고 있다. 이러한 자료들에는 지원자가 가장 많은 대학 순위, 지원자를 100% 받아들이는 대학, 편입 학생이 가장 많은 대학 순위, 규모가 가장 큰 대학 순위, 남학생 비율이 많은 대학 순위 등 40가지이다.

Ⅲ. 언론에 의한 대학 평가의 주요 공과

1. 언론에 의한 대학 평가의 목적과 필요성

(1) 대학 평가의 명칭 문제

이는 언론 기관에 의한 ‘대학의 서열화’를 ‘대학 평가’라 할 수 있느냐의 문제이다. 평가란 프로그램의 목표 달성 정도와 효과 및 영향을 확인하고, 가치나 장점을 기술 및 판단하고, 의사 결정에 기여하는 작업이다. 이렇게 볼 때 대학 평가란 대학의 질적 수월성을 확보하기 위하여, 목표 달성 정도와 효과 및 영향을 확인하고, 가치나 장점을 기술 및 판단하고, 대학에 관련된 의사 결정에 도움을 주는 제 활동을 의미한다고 볼 수 있다. 대학 평가는 교육 발전에 대한 정보를 교류 교환 제공할 뿐만 아니라, 개별 대학을 공통의 기준에 의거하여 평가함으로써 대학 교육에 관한 가치 판단을 수반하는 비판적 검토의 과정이 된다. 그렇다면 언론 기관에 의한 대학 평가도 같은 맥락에서 볼 수 있는가? 엄격하게 말하면 언론 기관에 의한 대학 평가는 ‘대학 평가’라고 명명하기 어려울 것으로 판단된다. 따라서 Asiaweek나 US News에서는 평가라는 말보다는 서열화(ranking)라는 말을 쓰고 있다.

(2) 필요성

언론에서는 대학 평가의 목적을 크게 두 가지로 제시하고 있다. 하나는 학생과 학부모에게 대학에 대한 올바른 정보를 제공하는 것이고, 다른 하나는 대학에 선의의 경쟁을 유도하는 것이다. 교육부와 대교협에 의한 평가는 평가 대상 대학의 입장을 우선하여 피교육자들의 정보 요구를 충분히 만족시키지 못한 측면이 있었다. 언론에 의한 서열화는 학생과 학부모의 정보 욕구를 충족시켜 주기 위한 것이다. US News에 의한 미국 대학의 서열화는 이제 미국 내에서 권위와 역할을 인정받고 있다. 국내에서도 언론에 의한 평가가 대학 평가를 보완하는 역할을 하고 있다고 보는 시각도 적지 않다.

2. 평가 기준과 지표의 문제

(1) 대학 교육의 ‘질’평가 문제

이는 대학 교육의 여건과 질을 한정된 수의 지표만으로 정확하게 측정 평가할 수 있는가 하는 의문이다. 이 문제는 평가 지표의 수를 아무리 많이 늘린다 해도 결국 제거될 수 없다. 대학 교육에 대해서는 양적인 측면도 객관적으로 측정하기가 어렵거니와 특히 교육의 질적인 측면을 평가하는 데는 한계가 있을 수밖에 없기 때문이다.

흔히 양적인 것으로 보고 설정된 많은 평가 지표들이 결국에는 질적인 지표이어야 하지만, ‘질’을 평가하는 것이 어렵기 때문에 양적인 지표로 설정된 것들이 많다. 교수 자원, 연구 실적, 시설과 도서관에 관련된 대부분의 평가 지표들이 그렇다. 예컨대 연구 실적의 경우 논문 편수만으로 평가하기에는 한계가 있다. 이는 중앙일보와 Asiaweek는 연구 실적을 중요한 평가 항목의 하나로 설정하고 있지만, US News가 연구 실적을 평가 지표에서 제외한 이유 중의 하나가 될 수 있다. 마찬가지로 교수에 대한 봉급 수준, 전임 교수의 비율, 최종 학위의 소지율 등이 교수 자원의 우수성을 판단하는 조건이라고 말하기는 대단히 어렵다. 중요한 것은 이러한 평가 지표들이 모여서 총체적으로 ‘대학의 질을 잘 평가’하고 있다고 보기가 쉽지 않다는 것이다. 언론 기관에서 ‘질’을 평가하는 평가 항목으로 제시하는 ‘평판도 조사’도 결국 질을 양화한 것에 불과하며, 응답자가 어떻게 표집되느냐에 따라 평판도의 순위가 매우 다르게 나타날 가능성을 배제하지 못하고 있다.

(2) 획일적인 평가 기준의 문제

언론 기관 평가 기준의 또 다른 문제는 평가 기준이 획일화되어 있다는 것이다. 즉, 일부 평가 지표를 제외하고는 그 기준이 대학의 특성, 발전 목표와 상황, 계열별 차이 등을 고려하지 않고, 단일 척도로 되어 있어 대학에 따라 유·불리한 측면이 나타난다는 것이다. 이는 기본적으로 모든 대학을 평가하여 대학간 상대적인 비교에 초점을 맞추고 있는 언론에 의한 대학 평가의 속성상 어쩔 수 없는 것이라고도 볼 수 있다. 그럼에도 불구하고 ‘다른’ 대학을 ‘동일한’ 지표로 평가하는 것은 대학에 대한 잘못된 이해를 불러 올 수 있다. 대학의 계열 구성에 관계없이 일률적으로 지표와 점수를 산출하는 것은 계열(공학, 의학, 예·체능, 자연 과학 등)의 설치 여부에 따라서 총점과 평가 결과에 상당한 차이를 가져오는 것이다.

이를 극복하기 위해 US News는 학생 선발도의 가중치를 전국적 대학과 지역적 대학에 따라 달리 배정하며, 평판도를 범주별로 나누어 평가하고 있다. 하지만 동일 범주 안에서도 대학의 특성이 매우 다를 수 있음을 고려할 때 그것만으로는 충분한 것으로 볼 수 없다. 예를 들어 학생 선발도 영역에서는 입학 경쟁률과 입학 성적 및 고교 졸업 성적이 90%를 차지한다. 그런데 주립 대학의 경우 입학 경쟁률과 입학 성적이 높을 수 없다. 원하는 학생들을 상당 부분 수용해야 하기 때문이다. 결국 주립 대학은 학생 관련 지표들에서 손해를 보게 될 뿐만 아니라, 학생 선발시 엄격한 입학 기준을 적용하기 않았기 때문에 중도에서 탈락하는 학생들이 많아지게 되고 결국 학생 유지율과 졸업률에서도 사립 대학에 비하여 뒤쳐지게 된다.

특히 Asiaweek에 의한 아시아 및 오세아니아권 대학에 대한 평가의 경우에는 나라의 역사적·정치적·경제적 배경에 따라 대학의 특성과 성격, 지위가 매우 달라질 수 있다. 그럼에도 불구하고 Asiaweek는 동일한 지표에 의하여 이들을 평가하고 서열을 매기고 있다. 이는 결국 매년 대학 평가를 할 때마다 대학의 서열이 급변하는 결과를 초래하고 있으며, 대학 평가의 신뢰성을 훼손하는 요소로 작용하기도 한다.

(3) ‘산출’을 고려하지 못하는 ‘투입’위주의 평가 지표 문제

언론에 의한 대학 평가의 평가 항목은 상당 부분 투입 위주로 구성되어 있다. 언론사에 따라서는 점차로 산출 위주의 평가로 방향 전환되고 있다고 밝히고 있으나, 여전히 투입 요인이 차지하는 비중이 훨씬 크다. 중앙일보는 ’98년부터 교수당 학생 수 및 교수당 연구비, 논문 편수, 학생당 교육비 등의 개선도를 평가하는 지표를 추가하였으나, 이는 여전히 산출 요소라기 보다는 투입 요소이며, 그 비중도 500점 중 20점(4%)으로서 크지 않다. US News가 전국적 대학을 위해 개발한 “졸업률 성과”(투입 요소를 고려할 때 졸업할 것으로 기대되는 학생의 비율과 실제로 졸업하는 학생의 비율간의 차이) 지표도 전체에서 차지하는 비중은 전국적 대학의 경우에만 5%이다. Asiaweek는 오로지 투입 위주의 지표로 구성되어 있다. 평가 첫해인 1997년에는 신입생의 2학년 진급률과 졸업률이 포함되었으나, 1998년부터는 제외되었다.

문제는 이러한 투입에 대한 평가 항목들이 평가의 목적에서 밝히고 있는 대학 교육의 질을 보장할 수 있는가 하는 것이다. 투입을 평가한다는 것은 여건과 시설 등의 투입 요소가 우수하면 그 성과도 우수할 것이라는 점을 전제로 한다. 그러나 실질적으로는 대학 교육의 투입과 산출간의 상관이 정적이라는 보장은 없다. 투입 위주의 평가는 결국 평가 대상 대학으로 하여금 투입 요소에 대한 투자만을 강요하게 되고, 피교육자에게는 정확하지 못한 정보를 제공하는 결과를 낳게 된다.

(4) 성과 측정 지표의 타당도 문제

교육 활동의 성과는 학생의 변화 여부를 통하여 간접적으로 평가될 수 있다. 언론의 대학 평가에서 교육 활동의 성과를 평가하는 지표로는 취업률, 진급률, 진학률, 졸업률, 졸업률 성과, 사회적 평판도 등이 있다. 그러나 이들은 지역적·시대적·국가적 여건과 상황의 영향을 많이 받을 수밖에 없다는 데 문제가 있다. 예를 들어 취업률은 모든 대학에 동일하게 적용되지만, 취업률은 동일 연도라 하더라도 계열과 지역, 남·여에 따라 크게 다른 것이 현실이다. 따라서 동일한 취업률 지표로 모든 대학을 평가한다는 것은 평가의 타당도를 저해할 수 있다. 더욱이 대학별로 선발된 신입생의 성적에 차이가 나는 것이 현실인 상황에서 동일한 기준을 적용하는 것은 우수 학생을 선발함으로써 좋은 평가를 받은 대학에게 다시 한번 좋은 평가를 해 주는 결과를 초래할 수 있다.

(5) 양적 지표에 의존하는 평가 항목의 문제

언론에 의한 대학 평가의 지표들은 상당 부분 양적인 것이 주종을 이룬다. 이는 대학의 순위를 매기기 위해 어쩔 수 없는 것으로 볼 수 있다. 그러나 양적인 평가 지표들이 대학 교육의 질을 평가하는 데는 한계가 있다는 지적이 많다.

양적인 지표는 객관적으로 수량화되어 제시되기 때문에, 평가의 신뢰도를 높일 수 있는 장점이 있지만, 수량화에 따른 양적 지표의 타당도의 문제는 쉽게 해결되기가 어렵다. 예를 들어 연구 실적은 연구 논문의 편수로 수량화하는 경우가 대부분이다. 여기서 연구 논문들간의 질적 차이, 내용적 차별화가 이루어지지 않고 있다. 언론 기관에서는 SCI 등 논문 인용 색인에 나타난 학술지 혹은 평가 인정 학술지에 실린 논문 수 등의 ‘양’적 지표를 토대로 연구 실적의 ‘질’을 측정하기 위해 시도하고 있으나, 이에 대해서도 이미 SCI 그 자체만으로는 논문의 질을 평가하는 중요한 기준이 될 수 없다는 지적이 제기된 바 있다.


3. 평가 방법상의 문제

(1) 평가 지표와 방법의 빈번한 변경

대학 교육의 질을 평가하기 위한 바람직한 평가 지표를 개발한다는 것은 대단히 어렵다. 따라서 개발된 평가 지표는 그에 대한 반응과 의견을 토대로 숙고하여 개선된다. 실제로 중앙일보나 Asiaweek, US News 등은 대학 평가를 시작한 이래 거의 매년 평가 지표를 변경하여 왔다. 1987년 평가를 시작한 이래 어느 정도 정착 단계에 접어든 US News는 평가 항목의 대폭적인 변경을 하지는 않지만, 중앙일보나 Asiaweek는 매년 평가 지표에 대한 수정·보완을 계속해 오고 있다. US News도 다양한 경로로 전달되는 대학과 학부모의 의견을 수합하여 매년 평가 방법을 개선해 오고 있다. 2000년에도 “표준화”라는 통계 절차를 채택하는 중요한 방법상의 변화를 시도한 바 있다.

Asiaweek의 종합 평가 및 평가 영역별 평가 결과를 보면 연도에 따라 대학의 순위가 급변하는 모습을 보여 주고 있다. ‘대학 교육의 질’이라는 것이 1, 2년 사이에 크게 개선되거나 악화되기는 쉽지 않음을 고려할 때, 이는 평가 지표가 잘못되었거나 평가 방법에 오류가 개입되었을 가능성이 있음을 시사하는 것이다. 지표의 빈번한 변경도 결국에는 그러한 결과를 초래한 것으로 볼 수 있다. 이에 대해서는 뒤에서 부언할 것이다.

(2) 평가 지표의 가중치 부여 문제

언론의 대학 평가는 각각의 평가 영역에 대하여 가중치를 다르게 부여하고 있으며, 평가 영역 내의 평가 지표간에도 각기 다른 가중치가 부여된다. 각기 다르게 가중치가 부여된 평가 영역의 점수를 모두 합산하여 대학별 순위를 결정하는 것이다. 그런데 가중치가 얼마나 타당한 것인가 하는 의문이 제기될 수 있다. 특히 평가 영역별로 가중치를 먼저 결정하고, 그 범위 내에서 평가 지표간에 가중치를 재배분하기 때문에, 결국 가중치의 규모가 잘못 결정되는 경우가 발생하기도 한다. 예컨대 US News의 경우 20%를 차지하는 교수 자원 내에서 다시 하위 지표별 가중치를 재배분하면서, 교수/학생 비율에는 5%의 가중치를 부여하였다. 이는 전체에 대해서는 1.25%의 영향력 밖에 없는 것이며, 평판도의 25%, 졸업률의 16%(지역적 대학은 20%)에 비하여 매우 낮다. 중앙일보의 대학 평가에서도 500점 중 교육 여건 및 시설에 120점을 부여하고 그 안에서 교수당 학생 수에 20점을 부여하였는데, 이는 전체의 4%를 차지하는 것이다. 이는 교수당 학생 수라는 중요한 평가 지표를 충족시키지 못하거나 평가 결과가 뒤쳐진다 하더라도 96%에 달하는 다른 지표에서 상위의 점수를 받게 되면 그 대학은 종합 점수에서 높은 등급을 받을 수 있음을 시사한다.

(3) 평정 방식과 점수 집계의 문제

언론의 대학 평가는 총합 평정 방식을 택하고 있다. 따라서 어느 영역에서는 최저 점수를 받더라도 다른 영역에서 높은 점수를 얻으면 높은 순위를 받을 수 있다. 모든 평가 항목들이 독립적인 가치를 지니고 있고 중요한 것이라면 이러한 총합 평정 방식은 불합리하다. 이를 보완하기 위하여 항목별 가중치를 두고 있고, 평가 영역별로 대학의 순위를 발표하고 있기는 하지만 근본적인 해결책이 되기는 어렵다. 극단적으로 총합 평정 방식은 대학별 특성화에 도움이 되지 못할 뿐만 아니라 방해자가 될 수도 있다. 따라서 최종적인 정정 단계에서는 객관적인 자료에 의한 개별 지표별 점수의 기계적인 합산에 그치지 말고, 평가 대상의 특수성을 감안한 종합적인 평정이 이루어져야 한다.

(4) 서류에 의존하는 평가 방식의 문제

일반적으로 대학 평가의 방식은 대학의 자기 평가와 평가자의 현지 방문 평가가 중시된다. 서류에만 의존하는 평가 방식에는 한계가 있기 때문이다. 그러나 언론 기관 대학 평가에는 이 두 가지 핵심 과정이 빠져 있어서 평가 자료의 정확성에는 한계가 있다.

4. 수요자에의 정보 제공 문제

언론 기관의 대학 평가는 다른 평가보다도 더 수요자들이 원하는 정보를 알기 쉽고, 손쉽게 활용할 수 있도록 제공해야 한다. 그런데 언론 기관 대학 평가에서 사용되는 세부 평가 지표는 대교협이나 교육부의 대학 평가와 큰 차이가 없다. 다만 사회적 평판도와 수요자 만족도가 차별화를 보여 주지만, 수요자 만족도는 1997년도 한해 조사되었을 뿐이다. 더욱이 교육 수요자들이 인건비 적정 상태나 부채 우량도 등과 같은 복잡한 지표들을 이해하기란 쉽지 않을 것이며, 6개 영역별로 50여 개에 달하는 세부 평가 지표에 관한 정보를 필요로 하지도 않을 것이다. 결국 언론의 다양한 평가 요소를 교육 수요자가 보기에 너무 복잡하고 이해하기도 어렵다.

수요자가 원하는 정보의 제공 여부는 언론 기관 대학 평가의 성공을 가늠하는 중요한 요소이다. 언론 기관의 명성과 생존은 독자 수와 판매 부수에 의해 결정되기 때문이다. 따라서 언론은 수요자들이 요구하는 정보를 제공해야 한다. 언론 기관이 매년 대학 평가를 지속해 오고 있는 중요한 요인의 하나도 바로 ‘수요자들이 요구하기’ 때문이다. 최근 들어 대학간 경쟁이 심화되면서 대학들은 파급 효과가 큰 언론 기관 대학 평가를 무시할 처지가 되지 못하였다. 이러한 이유로 평가 초기에는 평가 자료 제출을 거부하기도 했던 대학들이 보다 적극적으로 정보를 제공하기도 하고, 평가 대상에서 제외된 대학(산업 대학이나 특수 대학)이 자발적으로 평가를 신청하기도 하였다.

그러나 문제는 매년 발표되는 대학 순위가 같다면, 사람들의 호기심은 그만큼 줄어들 것이라는 데 있다. 즉, 언론이 제공하는 정보가 이전과 다르고 충격적일수록 주목을 받기 쉽다는 점이다. 최근 US News는 특정 항목의 가중치를 고쳐서 대학 순위를 조작하려 했다는 의혹을 받기도 했다. 즉, 학생당 교육비 항목의 가중치를 높여서 Caltech와 같은 공대 중심 대학의 순위가 급상승하고, 상대적으로 Harvard나 Yale 등의 대학 순위는 내려갔다는 것이다. 이는 대학 순위가 변하고 있다는 사실을 강조함으로써 판매 부수를 증가시키려는 의도에서 나온 것이라는 비판적 분석도 있다. 국내 언론에서도 “대학 순위, 달라지고 있다”, “변화하는 대학 서열” 등을 계속 강조하는 것을 보면, 이 점에서 예외일 수 없다. 언론 기관의 대학 평가는 상업성에서 자유로울 수 없다는 한계가 있으며, 평가 지표의 빈번한 변경과 영역별 대학 순위의 급격한 변동은 이러한 맥락에서 파악해 볼 수 있을 것이다.

Ⅳ. 언론 기관 대학 평가의 과제

언론 기관 대학 평가는 다른 대학 평가와는 다른 존재 의의가 있어야 한다. 그 존재 의의의 핵심은 수요자에 두어야 할 것이다. 즉, 수요자가 원하는 정보를 알기 쉽고 편리하고 정확하게 제공해야 한다는 점이다. 이러한 방향에서 언론 기관 대학 평가의 과제를 제시하면 다음과 같다.

1. 언론 기관 대학 평가의 역할 정립

대세가 되어 버린 대학 평가의 한 축을 언론 기관의 평가가 차지하고 있다. 하지만 언론 기관의 대학 평가는 흔히 말하는 ‘대학 평가’의 주축이라고 보기는 어렵다. 언론 기관의 대학 평가는 대학에 대한 점검을 통해 대학 발전을 유도하려는 동기에서 시작되었다기 보다는 학생과 학부모에게 대학에 대한 자료와 정보를 제공하자는 데 근본 목적이 있기 때문이다. 따라서 언론 기관의 대학 평가는 대학 평가 인정제나 교육부의 대학 평가와는 다른 역할을 수행해야 하며, 평가의 방법 역시 달라야 할 것이다. 즉, 언론 기관의 대학 평가는 학생과 학부모에게 대학에 관련된 다양한 정보를 제공하는 데 초점을 맞추는 것이 필요할 것이며, 평가 지표의 구성, 평정 방법, 평가 결과의 발표 등은 그러한 목적과 역할에 논리적으로 일관성을 지니도록 해야 할 것이다.

2. 평가 항목 및 기준의 개선

(1) 미래지향적 평가 항목의 구성

평가 항목은 기본적으로 대학의 발전을 위한 목표 추구와 발전을 가능하게 하고 미래 국제 경쟁력을 향상시킬 수 있는 것이어야 한다. 언론의 대학 평가가 ‘평가’가 되기 위해서는 대학의 발전을 유도할 수 있어야 한다. 대학의 서열화에만 초점을 맞춤으로써 대학은 그에 맞추어 양적인 성장만을 추구하게 만드는 지표가 되어서는 안 된다.

(2) 정보 제공 가능 지표의 설정

기본적으로 언론 기관 대학 평가의 기본 목적은 ‘정보 제공’에 있으므로, 대학 교육에 관련된 학생, 학부모, 기업체 등에 필요한 정보를 제공해 줄 수 있는 이해하기 어렵지 않은 지표를 선정한다.

(3) 대학간 특성의 차이 고려

평가 기준은 대학의 특성을 반영해야 한다. 아울러 수집된 자료를 바탕으로 대학의 유형이나 계열 구성에 따른 학교간 차이가 바로 학교간 총점의 차이로 나타나지 않도록 해야 한다. 더 나아가 연구 부문에서 SCI 관련 지표에 대한 지나친 의존도는 재고되어야 한다. 예컨대 중앙일보 1999년 SCI 관련 지표는 서로 비슷한 5개 지표에 60점을 배정하여 교수·연구 영역 130점의 46.2%, 전체 500점의 12%나 된다. 국내 논문이 배제된 상태에서 이공계 위주의 SCI를 토대로 교수 연구 능력을 평가하고 서열화하는 것은 무리이다.

(4) 평가 대상별 범주의 설정

장기적으로는 대학의 특성에 따라 평가 지표를 달리하는 방법을 강구해야 할 것이다.

(5) 평가 항목 및 기준의 감축과 핵심 지표화

현재 일부 언론의 대학 평가는 대단히 나열적이라는 비판이 있다. 언론의 대학 평가는 대학에 대한 종합적 판단을 필요로 하는 것은 아니므로 현재와 같은 투망식 평가 지표는 바람직하지 않다. 투망식 평가 지표는 자칫 핵심 지표를 갖추지 못한 대학이 우수 대학으로 평가받을 가능성을 배제할 수 없다. 따라서 언론의 대학 평가는 몇 가지 핵심 평가 영역과 지표만을 중심으로 종합 평정보다는 영역별·학과(부)별 평가에 초점을 맞추는 것이 바람직할 것이다.

(6) 산출 평가 지표의 보완

그 동안의 평가 지표들은 성과 지표보다는 투입 지표에 초점을 두어 왔다는 지적을 받고 있다. 이는 대학들로 하여금 성과 제고를 위한 노력을 기울이기 보다는 물량 위주의 투입에 초점을 맞추도록 하는 역기능을 갖는다. 따라서 졸업률 성과라든지, 입학 성적·지리적 위치 등을 고려한 취업률 등의 성과 지표가 추가·보완되어야 할 것이다.

(7) ‘질’ 평가를 위한 평가 지표의 보완

양적인 지표는 객관적으로 수량화되어 제시되기 때문에 평가의 신뢰도를 높일 수 있는 장점이 있다. 그러나 수량화에 따른 양적 지표의 타당도의 문제는 쉽게 해결되기가 어렵다. 언론 기관에서는 평가 인정 학술지의 논문 수를 ‘질’을 측정하기 위해 시도하고 있으나 완전한 것은 아니다. 앞으로 연구 기능 평가에서는 발표 논문의 편수보다는 논문 내용의 질적 수준을 평가할 수 있는 도구가 개발되어야 하며, 교육 기능 평가에서는 단순한 교수 확보율이 아니라 교수의 질적 수준과 열의도를 평가하도록 심화시켜야 한다.

3. 평가 결과의 집계 및 평정 방법의 개선

(1) 종합 평가보다는 영역 평가의 강조

앞으로의 언론 기관 대학 평가는 종합 순위보다는 평가 영역별 평가 결과에 주안점을 둘 필요가 있다. 서열화를 목적으로 하는 종합 평가는 교육 수요자에게 올바른 정보를 제공하기가 어렵다. 오히려 대학에 대한 선입견과 편견을 고착시킬 수 있다.

(2) 비율 점수에 의한 점수 계산

언론 기관 대학 평가의 순위 매김을 위해서는 평가 지표에 대한 대학별 점수의 계산은 순위별 평가보다는 비율 점수에 의하는 것이 타당할 것이다.

4. 평가 결과의 활용과 데이터 베이스 구축

(1) 대학 교육의 질과 관련된 지표의 체계화

다양한 유형의 대학 평가가 보편화되면서 이들간에 연계를 가질 수 있는 중요한 지표를 선정하여 체계화해야 한다. 그러한 지표를 토대로 어디서 실시하는 평가이든지 쉽게 각 대학의 비교 준거로 삼을 수 있는 자료를 체계화할 필요가 있다.

(2) 평가 결과 활용 데이터 베이스의 구축

학생과 학부모에 대한 정보 제공 기능을 강화하기 위해서는 평가 결과와 근거 자료를 데이터 베이스화할 필요가 있다. 이에 더하여 데이터 베이스를 통하여는 US News가 제공하듯이 지원자가 가장 많은 대학, 규모가 가장 큰 대학, 규모가 가장 작은 대학, 남학생 비율이 많은 대학, 수능 상위 성적자가 많은 대학, 내신 1% 이내 성적자가 많은 대학, 역사가 오래된 대학, 100명 이상 규모의 강좌 비율이 높은 대학, 기숙사 수용률이 높은 대학, 자격증별 취득률이 높은 대학, 교수당 학생 수가 가장 적은 대학, 동창의 수가 많은 대학 등 학생과 학부모의 다양한 관심거리를 제공해 줄 수 있을 것이다. 이러한 정보의 제공 형태도 인쇄 매체 위주에서 벗어나 인터넷의 홈 페이지나 회원제 메일링 등을 적극 활용할 필요가 있다.

Ⅴ. 맺는 말

대학 평가에 대한 수많은 비판에도 불구하고, 언론 기관의 대학 평가를 포함하여 대학 평가는 하나의 피할 수 없는 대세가 되어 버렸다. 기왕에 평가를 받을 수밖에 없다면 가장 신뢰롭고 타당한 방법으로 이루어지도록 할 필요가 있다.

현재 이루어지고 있는 세 가지 유형의 평가 즉, 언론 기관, 교육부, 대교협의 대학 평가를 놓고 볼 때, 대학 평가가 대학 스스로 사회적 인정을 받기 위해 이루어진 평가이든, 대학 재정을 지원하는 국가나 지방 자치 단체가 실시하는 평가이든, 언론에 의한 평가이든, 모든 대학 평가는 궁극적으로 대학 발전을 위한 것이어야 한다.
 
대학교육 제 108호