Related Link: http://salsal.egloos.com/1681183

요즘 블라인드 테스트에 대한 이야기가 많습니다...

하지만 올바른 블라인드에 개념들은 별로 없는 것 같고 자꾸 대결양상으로 가는 것 같아서 한번 문제점을 짚어보겠습니다.. 좀 글이 길더라도 읽어주시고.. 지루하다고 느끼시면 바로 패스해 주세요.. ^^



우리는 많이 경험을 합니다.. 일반적으로 지금 스피커와 물려있는 앰프가 무엇인가 알면 쉽게 구분이 되는데 가리기만 하면 못 맞추거든요. 왜 못맞출까?? 가리든 안가리든 앰프에서 나오는 소리는 같을 것이거든요... 앰프를 가리기만 하면 당연히 오디오간의 소리가 같아질것이라는 진짜 미신적인 생각을 가지신 분이라면 여기서 패스 해주세요...



전 친한 동호인 서너명이 환경좋은 시청실에 수시로 모여서 음악도 듣고 잡담도 하고 밥도 먹고 합니다.. 앰프와 스피커가 여러대 있고 진공관은 특성상 예열이 필요하므로 대부분 전원이 들어와 있는 상태라 케이블을 일일히 확인하지 않으면 어떤 앰프에 어떤 스피커로 소리가 나는지 모릅니다.. 좀 케이블이 막 섞여서 좀 복잡해요.. 얼듯 보기에는 잘 모릅니다.. 하지만 대부분 물리는 앰프가 대충 정해져 있죠. 이스피커는 이앰프.... 하지만 가끔은 이것을 바뀌어 봅니다... 그런데 별부담 없이 듣는 사람들은 거의 대부분 이야기를 합니다..

"어 앰프 바꾸었어????"

잘들 맞춥니다... 일부러 약올릴려고..."아니.." 그러면

고개를 갸우뚱하고는 일어나서 케이블을 확인하고..

"그럼 그렇지.. 소리가 바뀌었잖아???" 그러고는 웃고 말죠...

뭐 진공관이라서 안다.. 이런분들은 여기서 패스해 주세요.. 진공관 역시 출력한계치 이하에서는 인간이 감지하지 못한다는 수치안에 들어있으니까요. 좀 쉽긴 하겠지요..



가끔은... 저렇게 모인 사람들도. 논쟁을 합니다.... 바꾸면 변한다 안변한다... 감정이 좀 상하면......그럼 한명이 그럽니다. " 우리 블라인드 한번 해볼까??"

그럼 상황 종료되죠... 다 아니까요..... 못 맞춘다는 것을.. 오디오 한두번 해봅니까??? 그래서 서로간에 농담은 하지만 사람을 테스트하는 일은 거의 없습니다. 하지만 하두 자주 그리고 오래 만나다 보니까 그사람의 귀의 특성은 거의 다 알죠. 어떤 소리를 좋아하고 어떤정도 구분을 할 능력이 있다는 것을요........



서론은 그만하고 본론으로 들어가죠..



링크의 블라인드테스트는 두개의 MP3 플레이어에 대한 가벼운 논쟁이 생겨서 실제 블라인드를 한 것이 웹상에 있길래 예를 들었습니다. 이 테스트에 직접 관련된 분한체는 양해를 구하지 못해서 죄송합니다. 부디 이해하시길... 부탁드립니다..



ITU-R BS.1284의 규정에 따라 할려고 노력은 많이 했고 꽤 잘된 설계의 테스트입니다. 하지만 몇가지 문제가 보이네요.. 이런 문제점을 한번 짚어보고 우리가 알고 있는 블라인드와의 차이도 짚어보죠...



솔직히 ITU에서 권장하는 테스트환경은 일반인이 거의 맞출수가 없습니다. 고도로 튜닝된 청취실과 최대음량 106dB이상을 낼수 있는 오디오시스템은 일반애호가의 장비로는 어림도 없습니다.. 하지만 그래도 해봤다는 것이 중요하죠... 이런 어쩔수 없는 상황을 빼고도 중요한 문제점이 보이는데. 그래도 좋은 테스트입니다. 와싸다에 비해서는요.. ^^ 읽어보시면 대략적인 블라인드 방법에 대해서는 조금 이해가 갈수도 있어서 꼭 한번 읽어보고 다음 글을 보시면 좋겠습니다...



첫번째 문제점은 피검자의 수입니다. 물론 피검자의 수가 많으면 많을수록 좋습니다. 통계처리가 좋거든요.. 하지만 무작정 늘릴수도 없고 해서 ITU에서는 피검자가 일반인일때 최소한 20명으로 규정을 하고 있습니다. 피검자가 숙련된 사람일 경우는 10명만 되어도 된다고 봅니다. 왜 그러냐면 숙련자는 작은 숫자로도 의미있는 통계처리 결과가 쉽게 예상이 되거든요.. 하지만 이 테스트는 이것을 지키지 않았습니다. 설사 의미있는 통계결과가 나온다 하더라도요 좀 그럴수 있지요..



두번째는..테스트방법입니다.

여기서는 ABX의 방법을 썼습니다. 공식 블라인드에는 ABX의 방법은 사용하지 않습니다. 피검자에게 스트레스를 줄수 있는 극단적인 방법은 절대 사용하지 않죠. ABX와 비슷한 것 같지만 전혀 다른 개념입니다.

ITU-R BS.1116처럼 아주 작은 차이를 밝히는 경우 꼭 레퍼런스를 사용해야 하지만 일반적인 오디오의 비교하는 1284의 경우 레퍼런스를 사용하던지 안하던지 상관은 없습니다.



비교대상이 아닌 참고대상인 레퍼런스를 사용하는 경우 (편의상 레퍼런스는 R로 비교대상은 A와 B로 하겠습니다.)

레퍼런스는 비교대상의 A, B 보다 객관적으로 더 좋은 성능이 증명된 것으로 합니다.

R과 A혹은 B 를 먼저 비교합니다. 이 경우 소리를 틀어주는 순서는 꼭 지켜야 합니다.

(R) - (A 혹은 B) - (R (반복)) - (A 혹은 B (반복))

이것을 듣고 레퍼런스와의 차이점을 점수를 매깁니다.



Impairment

5. Imperceptible 차이를 알 수 없다.

4. Perceptible, but not annoying 차이는 있는 것 같으나, 집어 낼 수 없다.

3. Slightly annoying 특정 부분에서 차이를 알 수 있다.

2. Annoying 확연히 구분 되나 거슬리지 않는다.

1. Very annoying 확연히 구분되며 거슬리는 소리가 난다.



하지만 링크의 방법은 레퍼런스를 사용하지 않았는데.. 이런 점수체계를 쓴거죠.. 좀 이상합니다. 하여간 레퍼런스응 이용한 방법은 비교하고자 하는 A와 B를 레퍼런스와 먼저 비교를 해서 그 비교차를 가지고 궁극의 목적인 A와 B를 비교하는 방법이죠.. 가령 A는 평균 3.5점이 나왔고 B는 2.5점이 나왔다면 A와 B의 차이는 1입니다. +/- 개념이 들어가면 A와 B의 음질이 뭐가 더 좋으냐 까지 나오죠...

가령 아남앰프와 마크레빈슨을 비교하고 싶은데 직접 비교하지 않고 훨씬 더 비싼 골드문트최상라인을 들여와서 골드문트와의 차이점을 각각 비교해서 아남과 마크의 점수를 메기는 것이죠.. 하지만 우리는 앰프간의 차이가 있다 없다의 근본적인 이야기이므로 이 방법은 와싸다의 경우에는 적합하지가 않습니다.. ㅡ,.ㅡ



레퍼런스를 사용하지 않는 경우 즉 직접 비교할 경우..

링크의 테스트는 직접 비교를 했습니다. 이럴경우는 이런 테스트 방법을 써야 합니다. 단순히 ABX는 아닙니다.

Condition 1 - condition 2 - condition 1 (반복) - condition 2 (반복)

꼭 이런식으로 들려주어야 하고 이 순서를 피검자한테 알려주어야 합니다. 비교앰프일 경우 A - B - A - B 혹은 B - A - B - A 의 순으로 들려주고 이 두가지는 랜덤하게 섞어버리는 것입니다.....

이런 경우 답안도 다릅니다.. 5 스케일이 아니고 7스케일 방법이죠.



Comparison

3. Much better 아주 나음

2. Better 나음

1. Slightly better 조금 나음

0. The same 같음

-1. Slightly worse 조금 나쁨

-2. Worse 나쁨

-3. Much worse 아주 나쁨





이런식으로 답안을 써야 합니다. 두개가 다른 앰프인 것을 사전에 알기에 난 비실용이라 설사 같게 들린다고 하더라도 무조건 다르다고 우기면 어떻하냐고요??

피검자는 두개의 앰프가 다른 것은 알지만 어떤것이 먼저나오는지 순서는 모릅니다. 다만 다른것만 압니다. 그래서 비실용을 지지할려고 무조건 다르다고 쓸려고 해도 극단적으로 +점수와 -점수를 먼저 맞추어야 합니다.... 이것은 당연히 일관성 없는 답안이 되므로 나중에 통계적인 검증으로 다 걸러집니다. 설사 실용이라고 다 같다라고 써도 역시 다른사람과의 답안비교를 통한 통계적인 방법으로 제외가 되죠.. 모든사람이 대부분 같다라고 답안에 수렴이 된다면 당연히 두 앰프는 같다는 것이 통계적으로 증명이 됩니다.. 통계를 조금이라도 아시는 분이라면 OX방식의 답안이 얼마나 통계처리하는데 애로사항이 많은 방법이라는 것은 아실껍니다. 이런식으로 점수제로 하면 훨씬 작은 샘플로도 유의한 결과를 도출하기가 쉽습니다......



또한 되도록 피검자의 답안은 공개하지 않는 것이 좋습니다.. 답안의 내용이 중요하지 이름은 중요하지 않거든요.. 그 내용을 가지고 통계처리를 하면 비교대상의 앰프는 통계적으로 같다 다르다가 나오거나 아예 테스트자체가 의미없다 이런식으로 나오겠지요..

답안은 무기명으로 하는 것이 좋긴 하지만 주체측은 또 다른 테스트의 피검자 선정에 참고를 할려고 갖고 있어도 됩니다. 공개만 하지 않는 것이죠. 그런데 링크의 테스트는 이것을 지키지 않았습니다. 대단한 실례죠.....



테스트의 결과판정은 무조건 수학적 통계적 처리로만 해야 합니다.. 감정이나 기타 이득이 개입이 되면 절대 안됩니다...



또한 음원도 문제가 있습니다. 음원의 길이는 괜찮은데.. 다양한 음원을 들려주어야 합니다. 피아노 소리, 현악 3중주 소리, 피아노4중주, 관현악, 보컬, 연주와 보컬 등등 다양한 음원을 들려주어서..검사의 신뢰도를 높여야 하지요..



현재의 와싸다 블라인드의 문제점은

한명이 소리가 다르다 반대편은 아니다 같다.. 다르다니까??? 같다니까???

싸우다가 그래??? 난 같으니까. 이건 말도 할 필요 없는 것이고..

다르다는 니가 한번 구분해봐...

이러고는 ABX를 합니다.



이러면 피검자는 자기가 주장하는 바를 증명할려면 꼭 구분을 해야 합니다.

오디오 수십년 했는데. 이것도 구분을 못하면 완전 창피인데.. 하는 중압감에 시달리죠.. 공정한 테스트가 될 리가 없습니다.......



이런 감정적인 테스트는 전혀 도움이 안됩니다.. 앰프를 테스트하는 것보다는 아마도 상대편의 능력을 테스트해서 갈아뭉겔려는 불순한 의도가 더 많은 방법이죠...



전 참고로 실용과 비실용을 왔다 갔다 하는 오디오파일입니다., 하지만 블라인드테스트를 가지고 하는 실용의 논리전개는 상당히 문제가 있습니다. 분명 문제가 있는 테스트임을 알고도 상대편의 심리적인 약점을 이용하는 것에 항상 회의를 느낍니다. 좀 비겁하죠... 그래서 전 실용의 논리도 어느정도 인정하지만 이런 감정적 요인때문에 항상 비실용편에 서죠......



정말 앰프나 케이블이 같던지 틀리던지 한번 알고 싶으면 진짜 공정한 테스트가 무엇인지를 먼저 고민하는 것이 순서일듯 합니다... 어떠하면 공정한 결과가 나올수 있게 피검자의 피로도와 스트레스가 최소화 되고 등등등. 감정적인 방법은 서로 골만 깊게 만듭니다........



지루한 글이네요.. 좋은 주말 되세요.....