Are Blind Tests Reliable?

블라인드 테스트는 믿을 만 한가?





In the weeks preceding our test, a Secrets forum contributor guided us to a report by John Atkinson, Stereophile Editor-in-Chief, of a blind amp test the magazine had conducted in 1989 between the solid-state Adcom GFA-555 ($750) and the similarly powerful, tubed VTL 300W monoblock ($4900/pair). The complete report may be found at http://www.stereophile.com/features/113/index.html.

To quote briefly from that report:



우리 테스트가 시작되기 한 주 앞서서, secrets forum의 제공자가 John Atkinson (Stereophile의 chief 편집자) 가 89년에 했던 blind amp test에 대한 기고문을 알려왔다. 그 내용을 간단히 요약 해본다.



(참고로 John Atkinson은 블라인드 테스트 무용론자 진영의 대표주자입니다. 2005년도에 양 진영을 대표하는 두 명이 모여 설전을 벌인 적이 있는 데 흥미가 있는 분은 아래 링크 참조하세요. http://www.stereophile.com/news/050905debate/ ,

때로 어떤 분들은 John Atkinson의 말을 인용하는 경우가 종종 있는데 (그가 stereofile의 편집장이니까 그의 말에 무게를 두는 거죠) John Atkinson의 기본적인 신념이 어디에 있는지를 알고 인용구를 읽는 게 의미를 정확하게 파악하는 데에 도움이 될 거입니다, 역자 주)



�Nothing seems to polarize people as much as the vexed question concerning the importance of audible differences between amplifiers. If you think there are subjective differences, you're an audiophile; if you don't, you're not. And as any glance at an appropriate issue of Consumer Reports—the publication for non-audiophiles—will confirm, the established wisdom is that once the price of an amplifier or receiver crosses a certain threshold, any further improvement in sound quality becomes irrelevant, in that it puts the price up for no apparent gain. In other words, when it comes to amplification, there is such a thing as being "too" good. Yet, as a reader of this magazine, I would expect that not only have you been exposed to real subjective quality differences between amplifiers that Consumer Reports would regard as sounding identical, you have made purchasing decisions made on the basis of hearing such differences.



사람들을 대립하게 만드는 것 중에서 앰프간의 소리의 quality에 대한 청음상의 차이에 대한 질문만큼 지겨운 게 없다. 당신이 생각하기에 주관적으로 큰 차이가 있다고 생각하면 당신은 오디오파일이다. 반대면 오디오파일이 아니고.

Consumer report 같은 잡지에서 주로 볼 수 있는 논조라면, 앰프나 리시버가 어떤 일정 수준 이상의 가격 대 이상이 되면, 음질의 추가적인 향상과 이에 수반되는 비용 증가 간에는 별 연관이 없다는 생각들이 있다. 다른 말로 하면, 앰프에 있어서는 “너무 (“지나치게” 라는 부정적 의미가 있는 듯, 역자) 좋은 거야” 같은 종류의 이야기다.

나는 당신이 consumer reports에서 완전히 같은 소리라고 간주하는 앰프의 차이도 주관적으로 느낄 수 있고 이 같은 음질 차이를 기반으로 해서 구매 결정을 했을 거라 생각한다.





�It has often been said that the only way to resolve this apparent dichotomy is to use carefully controlled blind listening tests, where the listener does not know what he or she is listening to. In this manner, imaginary differences should fall away, leaving real differences that can then be correlated with objective measurements. Unfortunately, as you will have noted, for example, from David Clark's infamous blind amplifier test in Stereo Review, it seems that with such blind listening tests, all perceived subjective differences between amplifiers (apart from those due to level, absolute polarity, and amplitude-response differences) fall away. The conclusion then drawn by some observers is that, indeed, once above a certain performance threshold, amplifiers do sound alike.



흔히들 이 같은 분명한 이분법적 논란을 잠재울 방법으로, 아주 주의 깊게 컨트롤 된 블라인드 테스트가 유일한 방법이라고 들 한다. 청취자는 그가 무얼 듣게 되는 지 모르는 방식으로 imaginary한 차이는 배제하고 오로지 실제 객관적인 측정치만이 관련된 real 차이 만을 남게 하는 방법이다.

당신도 나중에 알게 되겠지만, 불행하게도, stereo review에 실렸던David Clark의 악명 높은 블라인드 앰프 테스트에서 보면, 앰프 간 보였던 모든 주관적인 차이들은 (레벨이나 absolute polarity 그리고 amplitude-response 차이에 기인한 것들은 제외하고) 모두 잘 되지 않았다. 몇몇 관찰자들이 내렸던 결론을 보면, 일정한 성능 수준을 넘게 되면 앰프들의 소리는 모두 비슷하다는 거다.





�But when you have taken part in a number of these blind tests and experienced how two amplifiers you know from personal experience to sound extremely different can still fail to be identified under blind conditions, then perhaps an alternative hypothesis is called for: that the very procedure of a blind listening test can conceal small but real subjective differences. Having taken part in quite a number of such blind tests, I have become convinced of the truth in this hypothesis. Over 10 years ago, for example, I failed to distinguish a Quad 405 from a Naim NAP250 or a TVA tube amplifier in such a blind test organized by Martin Colloms. Convinced by these results of the validity in the Consumer Reports philosophy, I consequently sold my exotic and expensive Lecson power amplifier with which I had been very happy and bought a much cheaper Quad 405—the biggest mistake of my audiophile career!



만일 블라인드 테스트에 참석했을 때 당신이 이미 두 개의 앰프가 소리가 충분히 다르다는 것을 알고 있는 상태임에도 불구하고 블라인드 테스트에서 소리 차이를 구별하지 못했다면, 아마도 여기엔 새로운 가설이 있을 수 있단 생각을 할 수 있을 거다. : 즉, “블라인드 리스닝 테스트로는 정말로 존재하기는 하나 아주 작은 차이는 구별하지 못한다” 라는 가설을 생각해 볼 수 있다.

여러 건의 블라인드 테스트에 참여해 보면서 나는 이런 가설에 대한 나의 생각에 점점 확신을 가지게 되었다.



일례로 10년 전에 나는 Quad405를 Naim NAP250 나 TVA 진공관 앰프간 차이를 구별하지 못했다. (Martin collom이 진행한 블라인드 테스트) consumer reports의 정신에 입각해서 블라인드 테스트의 결과에 대해 믿어버린 나는 여러 해 동안 내 곁에서 나를 행복하게 해 주던 내 소중한Lecson power amplifier 팔아버리고 Quad405를 구입했는데 --- 이건 내 오디오파일 경력에서 최악의 선택이었다





�Some amplifiers which cannot be distinguished reliably under formal blind conditions do not sound similar over lengthy listening in more familiar and relaxed circumstances.



어떤 앰프는 통상적인 블라인드 컨디션에서 구별이 용이하지 않지만 만일 오랫동안 듣거나 좀 더 편안한 환경에서는 그 소리가 같을 수 없다.





�There is also the fact that the ability to reliably hear differences between hi-fi components varies considerably from person to person . . .�

또한 음을 구별하는 데에 있어 개인간 편차도 있고…