Tag Archives: Billion Dollar Brain

“대량수학살상무기”의 위험성에 대하여

이른바 “4차 산업혁명”의 여러 혁명적 용어 중에 빠지지 않고 등장하는 것이 이른바 “빅데이터 Big Data”다. 그런데 이 빅데이터를 “대량살상수학무기”1라 부르는 이가 있다. 뛰어난 학벌과 학문적 업적 덕택에 수학과 종신교수로 근무하던 캐시 오닐은 “수학을 현실세계에 적용한다는 아이디어에 매료”되어 교수직을 버리고 헤지펀드 디이 쇼(D.E. Shaw)의 퀀트가 된다. 이후 “수학과 금융의 결탁이 불러온 파괴적 힘에 환멸을 느끼고 월스트리트를 떠난” 그는 데이터 과학자로 활동하면서 또 다시 빅데이터가 가지고 있는 파괴적 힘에 주목하면서 2016년 인용한 책을 썼다.

‘유에스 뉴스’의 대학 순위 사업이 다양한 영역으로 확장되면서 이를 조작하려는 시도도 갈수록 심해지고 있다. 가령 2014년 ‘유에스 뉴스’가 발표한 세계 대학 순위에선 사우디아라비아의 킹 압둘아지즈 대학교의 King Abdulaziz University, KAU 의 선전이 돋보였다. 불과 2년 전에 신설된 KAU 수학과가 케임브리지와 MIT를 포함해 몇몇 전통적인 수학 강호들을 제치고 하버드의 뒤를 이어 세계 7위에 선정된 것이다. [중략] 조사에 따르면 KAU는 유명한 논문을 발표한 다수의 수학자들과 접촉했고 그들에게 겸임교수직과 7만2000달러라는 높은 연봉을 제공했다. [중략] KAU는 교수들에게 톰슨 로이터스 인용 색인 웹사이트에 등록된 근무처 정보를 KAU로 변경하도록 요구했는데, 그 웹사이트는 ‘유에스 뉴스’가 순위를 산정할 때 참조하는 핵심 출처였다. 이는 KAU가 겸임교수들이 발표한 출판물에 대한 소유권을 주장할 수 있다는 뜻이다. 교수들의 출판물이 인용된 빈도는 ‘유에스 뉴스’ 알고리즘의 주요한 요소 중 하나였기 때문에, KAU의 순위는 급등할 수밖에 없었다.[대량살상수학무기, 캐시 오닐 지음, 김정혜 옮김, 흐름출판, 2017년, pp113~114]

우리가 빅데이터 산업의 현 주소를 확인할 수 있는 경험으로는 어떤 것이 있을까? 예를 들어 당신이 ‘다음 달에 교토나 가볼까?’하고 익스피디아 홈페이지에 접속해서 호텔을 두어군데 검색하고 나왔다 치자. 그러면 그 다음부터는 당신이 페이스북이나 다른 웹사이트에 접속할 때마다 익스피디어에서 추천하는 근사한 호텔 광고가 연달아 등장한다. 당신의 행동 패턴을 분석하여 집요하게 당신에게 “삐끼질”을 하기 시작한 것이다. 이 비즈니스 역시 필자가 월스트리트를 떠난 후 잠시 머물렀던 스타트업 인턴트 미디어 Intent Media 에서 수행한 빅데이터 작업이었다.

저자는 언뜻 보면 대단히 거대하고 정교해서 인간이 인지할 수 없는 영역까지 현명하게 판단할 수 있는 것처럼 느껴지는2 빅데이터 분석이 실은 어처구니없이 어리석은 판단의 당사자가 될 수도 있음을 여러 사례를 들어 설득력 있게 설명하고 있다. 이런 상황이 연출되는 근본적인 이유로 저자는 MBS의 사례를 들며 “수학은 쓰레기 같은 대출채권의 가치를 몇 배로 부풀릴 수는 있으나 해석은 순전히 인간의 몫”(p81)이기 때문이라고 설명하고 있다. 하지만 빅데이터 비즈니스는 기계의 물신성(物神性)을 조장하며 이러한 결함을 감추고 있다는 것이 저자의 주장이다.

Billion Dollar Brain poster.jpg
By Source, Fair use, Link


책에 나오는 다른 사례로는 새로 부임한 교육감이 학생들의 학습 능력 강화를 위해 교사들을 빅데이터로 분석하여 열등한 교사를 쫓아내는 사례가 있다. 이 사례에서는 한 평판이 뛰어난 교사가 등장하는데 그는 이러한 평판에도 불구하고 빅데이터 분석에서 열등한 교사로 분류되어 해고당한다. 이를 납득하지 못한 교사는 담당자에게 판단기준의 공개를 요구하지만, 담당자는 외주화된 그 작업의 알고리즘을 이해하지 못한다고 실토한다. 교사는 담당자도 이해하지 못하는 분석을 통해 노동자를 해고하는 것이 합당하냐고 따진다. 해석조차 포기한 물신성의 극단적 사례다.

사실 이런 빅데이터 분석에 대한 맹신의 어리석음과 그 위험성은 이미 마이클 케인이 주연한 1967년 스파이 스릴러 “백만 달러짜리 두뇌(Billion Dollar Brain)”에서 잘 보여주고 있다. 공산주의 소련을 절멸시켜야 한다고 믿는 한 미치광이 미국인 자본가는 판단의 엄정성을 위해 슈퍼컴퓨터로 소련 침공 시나리오를 짠다. 영화에서 그 자본가의 수하 중 하나인 레오 뉴비겐은 입력 데이터를 조작하여 소련 침공이라는 아웃풋이 나오게 하여 침공을 강행하고 주인공 해리 팔머는 이를 저지한다. 이제 우리는 현실에서의 해리 팔머를 만나야 하는데 그게 과연 누구일지 궁금하다.

캐시 오닐?

알파고가 경제시스템의 의사결정을 내리는 사회?

신용평가업계도 위기감이 감돈다. 알파고, 아니 ‘알파크레딧’이라는 이름의 AI가 신용평가 영역을 침범하는 시나리오는 충분히 현실적이다. “AI의 재무 분석 결과 00사 부도율 7.25%, 고로 신용등급은 BB+”와 같은 계량적 판단은 당장이라도 가능해 보인다. 그것도 아주 정확하고 빠르게. 사실 신용평가가 1200대의 슈퍼컴퓨터가 필요할 정도의 계산력이 필요한 것은 아니다. 신용평가사들은 분명 비용 절감 효과를 기대할 것이다. 한 증권사 크레딧 애널리스트는 “AI가 신용평가업계에 도입될 경우 애널리스트 상당수가 보따리를 쌀 수도 있다”고 했다.[알파고가 신용등급을 매긴다면]

알파고가 인간들에게 – 그 인간들 중 거의 대부분은 한국인이겠지만 – 충격을 안겨준 지 꽤 지났지만 아직도 알파고에 관한 이야기가 여기저기서 회자되고 있다. 흥미롭게도 경제지에서는 이미 주기적으로 알파고와 같은 인공지능에 관한 기사를 내고 있는 것 같다. 바둑이 꼭 경제와 관련이 있어서라기보다는 바둑이라는 작은 세계에서의 알파고의 가치판단과 정책결정이 경제 시스템이라는 더 큰 바둑판에 펼쳐질 것이라는 예감에 따른 보도내용이 많다. 이미 현실화되고 있는 켄쇼라는 애널리스트를 대체할 소프트웨어 이야기도 있고 인용한 기사와 같은 호사가적 가십성 기사도 있다.

인용기사처럼 인공지능이 신용평가에 도입된다면 어떤 효과를 기대할 수 있을까? 이 계획이 실현된다면 신용위기의 한 원인이기도 했던 국제신용평가사들의 등급평가에 관한 부조리는 크게 줄어들지도 모르겠다. 공무원이나 국제금융기구에 근무하는 엄격한 관리자에 의해 관리되는 인공지능 평가 시스템은 고객유치를 위한 등급장사를 하지는 않을 것이다. 보다 선제적으로 등급조정이 이루어질 것이고 이에 따라 투자자는 발 빠른 조치를 할 수 있을 것이다. 이미 상당한 비중을 차지하고 있는 프로그램 매매처럼 냉정한 신용평가로 등급에 대한 신뢰도는 더욱 높아질 수 있을 것이다.

많은 SF영화나 스릴러가 인공지능을 소재로 만들어졌는데, 마이클 케인 주연의 Billion Dollar Brain 역시 그런 영화 중 하나다. 공산주의를 혐오하는 한 미국 자본가가 소련을 침공한다는, 비틀린 냉소적 정치 스릴러인 이 작품에서 소련 침공 계획의 주요 의사결정을 내리는 주체가 바로 인공지능이다. 한 치의 오차도 없는 냉정한 판단으로 명령을 내리기에 때로 브레인은 아군인줄 알았던 이까지 암살하라는 명령을 내리기도 한다. 하지만 극중 한 배신자가 컴퓨터에 잘못된 명령을 몰래 입력하여 의사결정을 바꾸는데, 결국 인공지능의 태생적 한계를 잘 말해주는 장면일 것이다.

어떤 면에서 순환론이기는 하다. 인간의 결정은 불완전하기 때문에 기계를 통해 의사를 결정하기로 했지만, 그 기계는 인간이 만들고 관리해야 한다면 궁극적인 해결책은 기계가 기계를 만들어야 할 것이다. 하지만 이미 “제도”나 “국가”라는 것도 어느 면에서는 인공물로 때로 매몰차 보일 정도로 우리의 행동을 제약한다는 점에서, 기계적인 판단을 내리는 소프트웨어랄 수 있다. 신용 시스템 역시 마찬가지다. 다만 기계적이고 냉정해야 할 신용평가 분석가가 실적에 시달리고 친분에 판단이 좌우된다면, 기계가 의사결정과정의 상당부분을 대체한다고 해도 변명거리가 없을 것이다.

한편 신용 시스템이 인공지능에 의해 대체된다면 우리 경제 시스템의 큰 부분 하나가 인공지능에 맡겨지는 셈이다. 이런 고급 의사결정에서 인공지능의 효율성이 검증된다면 장래에 보다 고차원적으로 전반적인 사회의 경제기획에 인공지능을 적용할 수도 있을 것이다. 예를 들어 인공지능이 개인의 한계효용을 빅데이터 형태로 수집하여 이를 분석하고 파레토 효율이 도달하는 시점에서의 상품생산량을 결정해주는 과정에 쓸 수도 있을 것이다.. 흥미로운 것은 이런 SF적 미래를 곰곰이 생각해보면 그런 미래는 바로 신고전파의 한계효용이론이 적용된 계획경제 시스템이란 점이다.

시장경제 이론과 계획경제 이론의 조화로운 만남일지도?