빅데이터, 수학을 하다

매일 아침 눈을 뜨자마자 스마트폰을 켜는 순간부터 우리는 '데이터'라는 거대한 발자국을 남긴다. 유튜브에서 무심코 3초 만에 넘겨버린 영상, 온라인 쇼핑몰에서 장바구니에 담았다가 삭제한 신발, 출근길 내비게이션의 GPS 위치 기록, 심지어 스마트워치가 기록한 어젯밤의 뒤척임 횟수까지. 과거라면 하드디스크의 용량만 잡아먹는 아무 쓸모 없는 '쓰레기(Noise)' 취급을 받았을 이 파편적인 정보들이, 오늘날에는 4차 산업혁명의 가장 귀중한 석유인 '빅데이터(Big Data)'로 둔갑했다. 글로벌 IT 기업들은 왜 우리가 버린 이 쓰레기 조각들을 모으기 위해 천문학적인 돈을 쏟아붓고 거대한 서버 센터를 짓는 것일까? 그 이유는 이 거대한 데이터 더미 속에 치밀한 통계학과 수학적 알고리즘을 들이대는 순간, 인간의 직관으로는 절대 알아챌 수 없었던 소비자의 무의식과 행동 패턴이 소름 돋을 정도로 정확하게 드러나기 때문이다. '인과 관계'라는 오랜 과학적 신념을 버리고 오직 데이터 간의 '상관관계'로만 승부를 보는 빅데이터 분석의 수학적 메커니즘과 그 통계학적 마술을 파헤쳐 보자.

데이터 마이닝, 기저귀와 맥주의 상관관계

빅데이터 분석을 설명할 때 가장 유명한 전설적인 일화가 있다. 1990년대 미국의 대형 마트 월마트가 고객들의 영수증 데이터를 분석하던 중, 놀랍게도 '금요일 저녁 시간대'에 '기저귀'와 '맥주'가 유독 함께 많이 팔린다는 기묘한 패턴을 발견했다. 이 두 상품 사이에는 아무런 논리적인 연관성이 없어 보였다. 하지만 데이터를 파고들어 보니, 주말을 앞두고 아내의 심부름으로 기저귀를 사러 온 젊은 아빠들이 본인이 마실 맥주를 무의식적으로 함께 집어 든다는 행동 패턴이 숨어 있었던 것이다. 마트는 즉시 기저귀 매대 바로 옆에 맥주와 안주를 배치했고, 두 상품의 매출은 폭발적으로 솟구쳤다. 이처럼 산더미 같은 데이터 더미 속에서 숨겨진 규칙(패턴)이나 관계성을 수학적으로 캐내는 기술을 '데이터 마이닝(Data Mining)'이라고 부른다. 중요한 것은 '왜(Why)' 아빠들이 맥주를 샀는지는 몰라도 된다는 것이다. A(기저귀)를 사면 B(맥주)도 산다는 '상관관계(Correlation)' 패턴 그 자체만 확실하다면, 기업은 이를 이용해 엄청난 돈을 벌 수 있다. 묻지도 따지지도 않고 데이터가 뱉어내는 수학적 확률이 전통적인 인간의 심리학 분석을 압도한 것이다.

넷플릭스와 유튜브의 심장, 추천 알고리즘

데이터 마이닝이 가장 찬란하게 꽃을 피운 분야는 넷플릭스, 아마존, 유튜브를 지배하는 '추천 알고리즘(Recommendation Algorithm)'이다. 넷플릭스가 영화를 추천하는 방식 중 가장 널리 쓰이는 수학적 기법이 '협업 필터링(Collaborative Filtering)'이다. 당신이 액션 영화 A와 B에 별점 5점을 주었다고 치자. 알고리즘은 전 세계 수억 명의 데이터베이스를 뒤져, 당신처럼 A와 B에 모두 5점을 준 '수학적 쌍둥이(취향이 비슷한 유저군)'들을 귀신같이 찾아낸다. 그리고 그 쌍둥이들이 공통적으로 별점 5점을 주었지만 당신은 아직 보지 않은 영화 C를 슬그머니 첫 화면에 추천해 준다. 이것은 유저 간의 유사도(코사인 유사도 등)를 수학적으로 계산하는 행렬 분해(Matrix Factorization) 기법이다. 더 무서운 것은 '콘텐츠 기반 필터링(Content-based Filtering)'이다. 당신이 유튜브 영상을 볼 때 언제 마우스를 멈추었는지, 몇 분 몇 초에 영상을 껐는지, 어떤 색감의 썸네일에 클릭률이 높은지를 인공지능이 모조리 점수화하여 당신만의 고유한 취향 벡터(Vector) 값을 만들어낸다. 알고리즘은 나 자신보다 내 욕망의 확률 분포를 더 정확히 알고 있으며, 도파민이 터질 만한 다음 영상을 무한정 공급하여 우리를 화면 앞에 결박해 버린다.

차원의 저주와 차원 축소의 마법

하지만 데이터를 수집하는 속성이 너무 많아지면 빅데이터는 수학적인 악몽에 빠진다. 나이, 성별, 직업, 클릭 횟수 등 고객을 분석하는 변수(차원)가 수만 개로 늘어나면, 데이터 사이의 거리가 너무 멀어져 유의미한 패턴을 찾을 수 없는 이른바 '차원의 저주(Curse of Dimensionality)'에 걸리게 된다. 이를 해결하기 위해 수학자들은 '주성분 분석(PCA, Principal Component Analysis)'이라는 기가 막힌 통계학적 마술을 사용한다. 아무리 수만 개의 복잡한 변수들이 얽혀 있더라도, 수학적인 선형 대수학(고유값 분해)을 엑스레이처럼 통과시키면 전체 데이터를 가장 잘 설명하는 핵심적인 특징(주성분) 2~3개로 압축해 낼 수 있다. 수만 장의 얼굴 사진 데이터를 분석할 때 눈썹의 숱이나 귓불의 크기 같은 자잘한 노이즈 데이터는 버리고, 눈과 코의 간격이나 턱선의 각도 같은 결정적인 성분만을 뽑아내어 차원을 대폭 축소하는 것이다.