이 글은 아래 링크를 옮겨놓은 것입니다.

혹시 문제가 되면 자삭하겠습니다.



http://www.bulnabi.com/zb/zboard.php?id=web_free&page=1&sn1=&divpage=1&sn=off&ss=on&sc=on&select_arrange=headnum&desc=asc&no=257



-------------------------------------------------------------------------



브라인드테스트의 진실



15년쯤 전이었을 겁니다. 홀연 두 돈키호테가 나타나 오디오계를 발칵 뒤집어놓습니다. 한 사람은 그 이름에서부터 '칼있으마'가 폴폴 풍겨져 나오던 Ian Masters 라는 사람이었구요. 또 한 사람은 Ken Pohlmann 이란 사람이었습니다. 먼저 사람은 '모든 앰프 소리 다 똑같아!' 뭐 이 비슷한 결론의 페이퍼를, 뒤에 사람은 '사람 귀 가지고 CD플레이어간 소리 구별 못해' 이런 요지의 페이퍼를 어느 잡지에 실어버린 것이지요. 이 두 사람, 지금 살고 있는 곳부터 아주 재미있습니다. Masters는 그 추운 캐나다의 토론토에 살구 있구요, Pohlmann은 그때나 지금이나 따뜻한 플로리다를 벗어나지 않고 있습니다.



먼저 Pohlmann은 자신이 한 실험과 측정방법에 대한 오류를 공식적으로 인정한 적은 없지만 벌써부터 자신이 써온 많은 article과 서적에서 당시의 실험결과와 상반된 내용들을 반복해 기술해 왔기에 지금 우리나라를 제외하고 이 사람의 그 보고서가 화제가 되고 있는 나라는 없습니다. 하기야 젊었을 때 호기로 잘못 판단한 내용 잡지에 한 번 실었다고 해서 평생 낙인을 찍는다는 건 너무한 일이기는 하지요. 한편으로 Pohlmann의 디지털 지식에 대한 공력, 또 교육자로서 이 사람이 걸어온 업적이 워낙 돋보이는 것이었기에 지금으로서는 당시에 벌어졌던 그런 소동들 다 웃으면서 이야기할 수도 있는 것이겠구요.



이 사람이 저술한 'Principles of Digital Audio'는 올해 Fifth Edition이 나왔습니다. 이 책은 제가 그 전판부터 가지고 있는데, 판이 거듭될 수록 점점 더 두꺼워져서 이제는 850페이지가 넘는 사전수준으로 나와버렸네요. 만일 불나비에서 다시 한 번 "모든 플레이어든 트랜스포트든 CD기기는 소리가 똑같아" 이런 주장이 나온다면 왜 그 주장이 틀렸는지를 바로 이 Ken Pohlmann의 목소리를 통해서 알려드리겠습니다.



Masters라는 사람은 공식적으로는 지금 캐나다에 주소를 둔 어느 사이트의 편집장으로 아직 일하고 있는 모양입니다. 제가 이렇게 모호한 표현을 쓰는 것은, 이 사람이 운영한다는 사이트가 하도 바뀌고 그래서 지속적인 추적이 불가능하기 때문입니다. 아무튼 이 양반은 그 당시의 입장 즉 '모든 앰프 소리 똑같아'라는 주장을 아직 굽히지 않고 있는 모양이더라구요. 그럼 자신의 사이트에 다른 건 몰라도 앰프 리뷰 쓰는 건 막아야 할 터인데 그러지는 않고 있구요.



그런 주장들이 적지 않은 사람들에게 파문을 일으키게 된 것은 그런 결론에 이르는 과정이 철저하게 '과학적임'을 내세웠기 때문이었지요. 그들이 내세운 '과학적인 실험과 측정과정'이라는 것, 누구도 그 과정이 사실을 알고 보면 전혀 과학적이지 않은 것이라는 사실을 밝히지 못했지요. 적어도 얼마간은 그랬습니다. 그 반대진영에서 내세울 수 있는 논거라고 해 보아야



"실제로 들어봐. 소리 차이가 안나나. 실제로 차이가 나는 걸 안난다고 우기니 정말 답답할 노릇이네. 어휴, 속 터져!"



이정도였지요. 그래서 그에 대한 반대편의 대응으로서는 기껏해야



"그래, 소리 차이 없다구 해라. 우린 너희와 안놀면 돼."



이정도였습니다.(http://www.lafolia.com/archive/silverton/silverton200212response.html)



그것이 과학적으로 전혀 신뢰할 수 없는 실험 및 측정방법이라는 것이 밝혀진 것은 사실 10년도 넘은 일입니다. 블라인드 테스트네, 또 더블 블라인드 테스트네 해가며 어쩌구하는 일들 정말 제대로 진행하려면 신뢰할 수 있는 공식적인 방법론을 확립해 두어야 한다는 요구가 과학자들 사이에서 나오게 된 것은 perceptual coding 다시 말해 lossy coding의 코덱을 연구하면서부터 였지요. MP3, 또 MPEG에 들어가는 오디오 코덱 만들면서 소위 새로 개발된 알고리듬으로 어느 선까지 압축시켜야 '인간의 귀로 감지 할 수 있는 소리의 열화(Impairments In Audio System)가 생기지 않는 것인지에 관한 기준'을 설정할 필요가 생긴 것이지요.



AES잘 아시지요? Audio Engineering Society를 줄인 말인데, 이 단체의 권위와 위상은 다시 말씀 드리는 게 새삼스러울 정도입니다. 2001년 네덜란드의 암스테르담에서 이 AES의 110번째 Convention이 열립니다. 그 산하의 Standard Committee에서는 ITU-R Recommendation BS.1116-1 이라는 규격집을 확정해서 발표합니다. 이것은 'Methods for the subjective assessment of small impairments in audio systems including multichannel sound systems' 라는 제목을 따로 달고 있었지요.



한마디로 말해서 "지금까지 무슨 시청 테스트니 블라인드 테스트니 말도 많고 탈도 많은 방법 모조리 다 그거, 하나도 과학적이지 않고 근거 없는 것이니 몽땅 집어치우고 지금부터는 하려면 이 규격집에 명시된 대로만 하라구!" 이런 내용이었습니다. Ken Pohlmann은 올해 나온, 앞서 말씀 드린 저서 최신판의 Chapter Ten : Perceptual Coding 편에 이 BS.1116-1 의 내용을 상세히 소개해두고 있습니다. 이건 자신이 15년 전에 한 실험이 근본부터 잘못된 것이었다는 점을 솔직히 시인하는 셈이 되는데, 사실 이런 점이 그 사람을 더욱 매력적으로 보이게 하는 점 중의 하나이기도 하지요.



이 규격집은 다음과 같은 점들을 나열해 두고 있습니다(영어를 그대로 옮기는 것 양해해 주시기 바랍니다. 워낙 민감한 부분이므로 제가 어떻게 옮겼다가 뭐 '원문과 다르네!' 등등의 이견이 있을까 두려워서 입니다).



* selection of audio materials

* performance of playback system

* listening environment

* assessment of listener expertise

* grading scale

* methods of data analysis



이 규격집은 처음부터 지금까지 나온 어떤 '객관적이라는' 방법도 진정한 의미에서의 과학적인 리스닝 테스트가 될 수 없다는 점(.....that classical objective methods may not be adequate in assessing advanced audio coding schemes....)부터 밝히면서 시작하고 있습니다. 요 페이퍼, ITU(International Telecommunication Union의 약자입니다)의 사이트에 가면 퍼 올 수 있습니다. 그런데 퍼갈 때마다 돈을 내래네요. 그러니까 여기 불나비에 제가 그걸 바로 올리는 것도 않된다는 것이지요. 야후나 구글 들어가셔서 검색해보세요. 혹시 모르잖아요.



사실은 이 규격이 전부는 아닙니다. 그건 시작일 뿐이었지요. 그 뒤로 대표적인 것으로는 ITU-R.BS.1387-1이라는 좀 더 상세하고 발전된 규격도 나옵니다. 이 규격집에서 몇 가지 제 눈에 두드러지는 것들만 소개해 보겠습니다.



3.1 Expert listeners



It is important that data from listening tests assessing small impairments in audio systems should come exclusively from subjects who have expertise in detecting these small impairments. The higher the quality reached by the systems to be tested, the more important it is to have expert listeners.



아무나에게 들려주고 어떠냐고 물어본 결과 가지고는 리스닝 테스트가 될 수 없다는 말이지요. 들을 줄 아는 사람을 선별해야 하는데, 그게 단순히 '귀가 밝은 사람' 이라는 정도의 뜻이 결코 아닙니다. 바로 이어지는 아래의 항목들을 읽어보면(3.2 Criteria for selecting subjects, 3.3 Pre-screening of subjects, 3.4 Post-screening of subjects) 한마디로 '음향학적으로 고도로 훈련된 귀를 가진 사람 중에서 특별히 선발된 사람들만' 을 테스트에 참여 시켜야 한다는, 보기에 따라 지극히 비민주적인 발상에서 비롯된 설명들이 이어지고 있습니다.



4장에는 테스트 방법이 실려있습니다. 정말 저도 차마 꺼내기 힘든 말이긴 합니다만, 가령 핑크 플로이드의 앨범 중의 한 곡을 들려주고, 또 클래식 곡 중의 한 부분을 들려주는 식의 테스트 가지고는 아무 것도 알아낼 수 없다는 것이지요. 15초, 길어야 20초 정도의 짧은 음악 샘플을 반복해서 들려주어야 한다는 것입니다(Shorts music examples (perhaps 15 to 20 seconds) can be auditioned repeatedly to identify artifacts.). 그 외 비음악적 '소리'들, 다양하게 제시됩니다.



7장은 어떤 시스템을 통해 테스트를 해야 하나를 규정해 놓고 있는데요, 여기에 아주 눈길을 끄는 대목이 나옵니다.



7.2.1



"Reference monitor loudspeaker" means high-quality studio equipment, comprising an integrated unit of loudspeaker systems in specially dimensioned housing, combined with special equalization, high-quality power amplifiers and appropriate crossover networks.



제가 'high-quality power amplifiers'라는 표현을 'hi-end power amplifiers'라고 새겼다면 그건 지나치게 자의적인 해석이라고 비난하실래요?



세상은 너무도 빠르게 변하고 있습니다. 하루가 멀다 하고 쏟아져 나오는 정보들에 모든 이들이 접근하는 것은 애당초 불가능한 것이지만, 그것들이 바로 코 앞에 있는데도 애써 외면하면서 10년, 20년 전의 사고에서 벗어나지 않은 채 목소리만 높이는 것은 때로 죄악이 될 수도 있습니다.



2005.12.1



[위의 컨텐츠는 불나비닷컴 http://www.bulnabi.com 에서 제작한 것입니다.]