아래 댓글도 달았지만 월스트릿 저널의 이번 실험은 그저 허접스러운 실험에 불과하다. 기자가 오디오 매니어도 아닐 것이고, 오디오계에 존재하는 논쟁을 조금 알고 있을 뿐인 듯하다. 아니라면 그는 제대로된 ABX 테스트를 실시했을 것이다. 거기다 설명도 매우 미흡하다. 어떤 방식으로 어떤 사람들을 데리고 또 실험은 어떻게 진행했는지 정확하게 서술하지 않았다. 사실 당연한 일 아니겠는가. 무슨 오디오 전문잡지도 아니고 과학잡지도 아니고 월스트릿 저널 따위에서(이 잡지에서는 경제기사 조차도 구린 경우가 많다) 과학적으로 케이블과 씨디피와 앰프 등의 차이를 구분할 수 있는지 없는지를 제대로 실험했을리도 없고, 그렇게 했다 하더라도 그걸 제대로 적어놓을리도 없다. 이런 기사 따위 오디오 매니어들이나 읽는거지 일반인들은 몇천딸라짜리 전원선이 존재한다는 것, 몇억짜리 스피커가 존재한다는 것 이외는 관심권 밖일 것이다.



헌데 그래도 최근에 행해진 블라인드 테스트의 결과라서 제법 관심을 얻고 있는 모양인데, 결과는 또 별로 신통할 게 없다.



"테스트 중 하나는 고음질 MP3 파일을 재생하는 iPod 과 3000달러짜리 CD 플레이어를 비교하는 것이었다. 24명 중 75%는 CD 를 더 선호하였다. 이것은 그리 놀랍지 않은 결과다. 그런데 압축되지 않은 wav 파일을 iPod 으로 재생하도록 하자 21명 중 52%는 iPod 재생음이 더 좋다고 대답했다. iPod 과 앰프는 헤드폰 잭으로 연결했다. 오만한 오디오 애호가들이 틀린 답을 해서가 아니라, 대중적이고 값 싼 기기가 훌륭한 음을 재생한다는 사실에 나는 만족했다."



라는 구문을 보자. 엠피3파일도 비트레이트를 몇으로 했는지도 나와 있지 않아서 참 아쉬운 부분인데, 암튼 아이팟과 씨디 플레이어는 그래도 차이를 인지하기 쉬웠나보다. 75%라면 통계적으로 제법 유의미해 보인다. 하지만 본문 설명대로라면 두개의 시스템을 A와 B로 구분해놓고 리모콘으로 작동하게 시켰다. 즉 24명이 단 한번씩의 기회를 가졌다고 생각해야 하므로 총 24회의 실험이 행해진 것이다. 그중 75%가 어느 한쪽을 택했다고 하는 것은 사실 통계적으로 그리 유의미해 보이지는 않는다. 다만 어쨋든 75%라는 수치는 제법 인상적이다.



그런데 아이팟에 웨이브 파일을 집어 넣어서 씨디 플레이어와 비교하게 했더니 52%가 씨디 플레이어 쪽을 선호했다고 한다. 이것은 21명 중 52%라고 했으니 11명은 씨디 플레이어 소리가 더 좋다고 했고, 10명은 아이팟 소리가 더 좋다고 했다는 뜻이다. 자 이게 과연 의미가 있을지 생각해보라. 동전 던지기 21번 해서 앞면이 11번 나왔고 뒷면이 10번 나왔다. 놀라운가? 뭔가 의미가 있어 보이는가?



"같은 CD 플레이어를 사용하여, 나는 몬스터케이블에서 만드는 8피트 길이에 엄지손가락 만큼 굵은 2천 달러짜리 시그마 레트로 골드 케이블과 14가우스의 철물점 스피커 케이블도 비교 시험하였다. 많은 오디오파일들이 두 개 모두 쓸만하다고 한다. 나는 두 개의 차이점을 알 수 없었고 다른 사람들도 그 차이를 알기 힘드리라 생각했다. 하지만 테스트에 참여한 39명 중 61%가 더 비싼 쪽이 좋다고 대답했다."



이 구문도 사실 별 의미가 없다. 일단 39명 중 61%가 비싼 케이블을 선호했다고 하는데 여기서 점수가 0%에서 시작하는게 아니라는 사실을 다시 알아뒀으면 싶다. 모든 사람이 몽땅 다 막선이 더 듣기 좋다고 했다면 0%라고 해야 할 것이다. 그냥 찍어서 아주 많은 표본수를 가지게 된다면, 그리고 양자간에 차이가 전혀 없다면 50%가 나오게 된다. 그런데 실험에 참가한 사람이 너무 적다. 겨우 39명에 불과하다. 그런데다 61%라는 것은 50%라는 완벽한 동전 던지기에서 얼마 벗어나지를 못했다. 이 수치또한 의미있어 보이지 않는다.



여기서 존 앳킨슨과 마이클 프레머가 등장해서 비싼 케이블을 쉽게 구분해냈다고 말한다. 그런데 이 둘도 다른 사람들과 마찬가지로 참여한 것이라면 두명이 동전 던지기를 했다고 생각할 수 있다. 그리고 존 앳킨슨이 앞면에 걸었고 마이클 프레머도 앞면에 걸었다. 그리고 그들이 맞았다. 이렇게 될 확률은 1/4 정도다. 동전 던지기를 했는데 연속으로 앞면이 두번 나올 확률이다. 이게 놀라운 것인가? 그들이 비싼 케이블의 소리에 대해 묘사한 것은 오디오 무협지에서 흔히 들을 수 있는 문학적 표현에 불과하다. A B 두 시스템을 번갈아 들어보면서 A가 더 좋은지 B가 더 좋은지 말하는 실험이다. 이 실험에서 두 사람은 모두 B쪽의 소리가 더 좋다고 말했다. 이것은 그리 유의미한 일이 아니다. 애당초 실험의 설계 자체가 너무 엉성했다.



"Audience LLC 의 한 관계자는 그 회사의 2,800 달러짜리 AdeptResponse aR6 전원 개선장치를 A-B 테스트 해보자고 한 나의 초대를 받아들였다. 그는 처음엔 자사의 장치를 사용한 시스템을 선택했다 - 그러나 그 다음 두 번은 그냥 벽에 연결한 시스템을 선택했다."



라는 구문을 보자. 이 사람에게도 행한 것이 A B 테스트였지만 단 세번의 기회가 주어졌을 뿐이다. 이 세번 중 그는 두번 틀렸고 한번 맞췄다. 한번 맞췄다거나 두번 틀렷다는 사실이 중요한 것이 아니다. 세번 실험을 했다고 한다면 이건 동전 던지기 세번 했다는 것과 다를 바가 없다. 이때 앞면이 한번 나오든 두번 나오든 혹은 연달아 세번 나오든 그건 별 의미가 없다.



어차피 이 실험은 그저 재미로 행해진 실험에 불과해 보인다. 오디오 논쟁에 그리 익숙하지 않은, 그리고 이런 테스트를 통해 무언가를 검증한다는 것이 얼마나 어려운 것인지를 알지 못하는 필자에 의해 행해졌고, 저 기사 자체는 그 실험을 상세히 서술하지도 않아서 거의 무의미한 것에 불과하다.



결론적으로... 이 실험을 통해 과연 무엇을 유추할 수 있는지 아주 의심스럽지 않은가?