모두 거짓말을 한다 주요내용과 명언모음

이 책의 저자인 세스 스티븐스 다비도위츠는 빅데이터 전문가입니다. 그는 빅데이터가 사람들의 진짜 심리를 파악할 수 있는 아주 새로운 방법이며 이로인해 완전히 새로운 결과물들을 창출해낼 수 있다고 주장합니다. 그는 구글 트렌드를 연구해서 오바마가 흑인이기 때문에 손해 본 표가 얼마나 되는지를 밝혀냈으며 구글에서 데이터 과학자로 일하기도 했습니다. 빅데이터는 최근에 가장 주목받고 있는 새로운 기술이지만 실제로 빅데이터를 얼마나 어떻게 가공해야 하는지는 상당히 어려운 기술적 문제를 안고 있습니다. 하지만 점점 최첨단 기술을 통해 빅데이터 규모는 점점 더 커지게 되고 우리 삶에도 많은 영향을 줄 거라는 기대가 있습니다. 이번 포스팅에서는 이 책에서 나왔던 몇 가지 주요 내용들에 대해 소개해보려고 합니다.

(Source : CNN.com)

구글 데이터는 누가 실제로 투표를 하러 나올지 알고 있다. 투표를 하니 않을 사람 절반 이상이 선거 직전의 설문조사에서는 투표를 할 예정이라고 말해서 투표율 예측을 왜곡한다. 반면 선거 전 몇 주에 걸쳐 투표하는 법 투표 장소가 구글에서 얼마나 검색됐는지 살펴보면 어떤 지역의 투표율이 높을지를 정확하게 예측할 수 있다.

‘모두 거짓말을 한다’는 책의 제목처럼 사람들은 생각보다 훨씬 더 많은 거짓말을 하고 스스로에게도 거짓말을 한다고 합니다. 많은 사람들은 언론조사에서 자신은 투표를 할 것이라고 대답하지만 실제 투표율은 여론조사에 비해 훨씬 저조한 편입니다. 저자는 이러한 조사방식에 의문을 품고 구글 검색결과를 활용해서 좀 더 정확한 투표율을 예측할 수 있었다고 합니다.

사람들이 말하는 것을 믿지 말고 행동하는 것을 믿어라. 사용자들이 좋아한다고 주장하는 영화가 아닌 데이터가 그들이 즐겨 본다고 말하는 것을 기반으로 영화 목록을 제안해야만 한다. 

- 넷플릭스

넷플릭스는 현재 세계에서 가장 큰 동영상 스트리밍 서비스 업체입니다. 넷플릭스는 초기에 사용자들이 자신이 보고 싶다고 주장하는 영화를 위주로 추천목록을 만들어 줬는 데 실제로는 이 목록이 크게 도움이 되지 않는 사실을 깨달았습니다. 사람들이 보고 싶은 영화와 실제로 보는 영화는 완전히 다르다는 걸 깨닫게 되었고 나중에는 사람들이 실제로 보는 영화와 비슷한 영화들을 추천해주게 되었습니다.

(Source : Inside the Pylon)

통계학자 네이트 실버는 도플갱어를 통해 야구선수의 미래를 측정했다. 그의 성적과 가장 비슷한 야구선수 스무 명을 찾은 후 그들을 통해 성수의 미래를 예측했다.

야구선수의 미래를 예측하는 것은 매우 어려운 일입니다. 구단들은 저마다 다른 측정방식을 가지고 선수들을 영입하게 되지만 실제로 선수가 어떤 결과물을 낼 거라는 예측은 대부분 틀리는 경우가 많습니다. 통계학자 네이트 실버는 새로운 측정방법으로 많은 주목을 받았었는 데 그는 성적이나 신체, 성격 등이 굉장히 유사한 도플갱어를 20명 정도 찾아낸 다음 그 야구선수의 미래를 예측하는 방법을 개발해냈습니다. 실제로 이 방법을 통해 나이가 많은 야구선수임에도 불구하고 크게 성공할 거라는 예측을 정확히 해내기도 했습니다.

사람들은 자신의 상황에 적응하며 성공할 사람들은 어떤 상황에서든 장점을 찾는다. 당신을 성공으로 이끄는 요인은 당신의 재능이나 추진력이다. 유명한 학교가 제공하는 유명 인사의 졸업식 연설 등은 해당 요인이 아니다. 배경이 비슷하고 비슷한 명문대학에 합격한 학생들은 다른 학교를 선택했더라도 결국 비슷한 위치에 올라섰다.

저자는 어떻게 하면 성공할 가능성이 높아지는지에 대해 다양한 분석을 진행해봤지만 정확한 인과관계를 찾기는 어려웠다고 합니다. 어느 정도의 교육수준은 중산층이 되는 데 큰 도움을 주는 것으로 밝혀졌지만 아주 위대한 성공을 하는 인물들은 가정이나 유명한 학교에 들어가는 것은 크게 관련이 없었다고 합니다. 실제로 워렌버핏은 아주 유명한 학교에 합격을 했지만 오히려 학비가 저렴한 학교에 들어가 공부를 했고 위대한 성공을 이루어냈습니다.

(Source : The Motley Fool)

주식시장과의 상관관계를 살피기 위해서 충분히 많은 트윗을 조사하다 보면 우연히 상관관계가 나타나는 트윗을 발견하게 된다. 이것은 사실 우연일 뿐이다.

저자는 빅데이터를 통해 주식시장을 예측하는 것이 가능한가에 대해 조사를 시작했습니다. 재미있는 건 한 연구팀이 발표한 자료였습니다. 그들은 트위터에 긍정적인 단어와 부정적인 단어가 많이 나올 때 주식시장이 움직임도 비슷하다는 걸 알게 되었습니다. 그래서 이를 통해 헤지펀드를 만들기도 했지만 수익률이 저조하면서 수개월만에 망하고 말았습니다. 저자는 너무 많은 데이터를 분석하다보면 우연히 연관성이 있는 자료들을 찾아낼 수 있지만 이것은 완전히 우연일 뿐이라고 강조합니다. 이것은 마치 동전이 몇 번째 뒤집혔을 때 주식시장이 오른다는 주장과 똑같은 거라고 이야기합니다.

빌린 돈을 갚을 가능성이 높은 사람들은 금융에 관해 일정한 수준의 교양을 갖추고 있으며 자세한 계획이 있다. 그리고 빌린 돈을 갚을 가능성이 낮은 사람들은 약속에 확신이 차 있으며 신앙심, 동정심, 가족들을 공공연히 드러낸다.

저자가 찾아낸 재미있는 빅데이터 중 하나는 대출에 관한 것이었습니다. 빌린 돈을 갚을 가능성이 높은 사람들은 대출에 관한 전문적인 용어들을 자주 사용할 가능성이 높았지만 빌린 돈을 갚을 가능성이 낮은 사람들은 동정심이나 하느님, 가족들을 자주 언급하며 자비심에 호소하는 경우가 많이 있었습니다. 한마디로 정확한 계획을 가지고 있는 사람들이 주로 돈을 갚을 가능성도 높다고 볼 수 있습니다.