PART01.2장 데이터의 가치와 미래

PART01.2장 데이터의 가치와 미래

• 정의
  • 3V : 규모(volume), 형태(Variety), 속도(Velocity)
  • + 기술변화 : 활용할 수 있는 기술환경
  • + 인적자원 및 조직
• 효과 : 기존 방식으로는 얻을 수 없는 통찰 및 가치 창출, 사업방식/시장/사회/정부 등에서 변화와 혁신 주도
• 새로운 것이 아닌 패러다임 shift
  • 산업 : 데이터의 축적
  • 학술 : 거대 데이터를 다루는 학문 증가
  • 기술 : 디지털화, 저장기술 발전/가격 하락, 인터넷과 모바일 발전, 클라우드 컴퓨팅으로 인한 데이터 처리비용 감소
  • 가능성의 비유 : 석탄/원유/렌즈/플랫폼
    1. 석탄/철 - 제조나 서비스 분야의 생산성을 획기적으로 올림, 전반에 혁명적 변화를 가져옴
    2. 원유 - 경제 성장에 필요한 정보 제공, 산업 전반의 생산성을 한 단계 향상, 기존에 없는 범주의 산업을 만들어낼 전망
    3. 렌즈 - 산업 발전에 영향 eg. ngram view
    4. 플랫폼 - 공동 활용의 목적으로 구축된 유무형의 구조물, eg. 카카오톡, 페이스북, 하둡 에코시스템 등
• 과거에서 현재로의 변화
  • 사전처리 -> 사후처리 : 필요한 정보만 수집하고 나머지는 버리는 것에서 가능한 많은 데이터 수집, 조합, 정보 찾음
  • 표본조사 -> 전수조사
  • 질 -> 양
  • 인과관계 -> 상관관계
• 빅데이터의 가치
  • 가치산정은 어렵다
    1. 데이터 활용방식 : 특정 데이터를 언제, 누가, 어디서 활용했는지 알기 어려움
    2. 새로운 가치 창출 : 기존에 없는 가치를 창출하기 때문에 산정 어려움
    3. 분석 기술 발전 : 현재는 가치가 없다하더라도, 분석 기술이 발전함에 따라 가치가 있는 것으로 변할 수 도 있다.
  • 빅데이터의 영향
    1. 기업(소비자 행동 예측 및 신사업 발굴)
                         +
    2. 정부(사회변화를 추정, 관련 정부 추출)
                         +
    3. 개인(빅데이터 서비스가 늘어남으로 분석 비용하락, 손쉽게 사용)
       ==> 생활 전반의 스마트화
• 비즈니스 모델
  • 기본 테크닉
    

    테크닉	내용	예시
    연관규칙	변인들 간에 의미 있는 상관관계있나	맥주 사는 사람이 기저귀 사나?
    유형분석	특성에 따라 분류	이것은 어떤 특성을 가졌나
    유전자 알고리즘	최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 메커니즘을 통해 진화시키는 방법	최대 시청률을 얻으려면 어느 시간대?
    기계학습	훈련 데이터로 학습	기존 데이터 바탕으로 예측
    회귀분석	독립변수에 따른 종속변수의 변화 파악	나이에 따라 구매에 미치는 영향
    감정분석	주제에 대한 감정	상담 결과?
    사회관계망 분석	영향력 있는 사람을 찾을 때	사람 간의 관계망

• 위기 요인과 통제 방안
  • 위기요인
    1. 개인정보 포함된 데이터로 인한 사생활 침해
    2. 책임원칙 훼손 : 마이너리티 리포트 같이 예측으로만으로 책임
    3. 데이터 오용 : 항상 정확하지 않을 수 있으며, 잘못된 지표를 사용하는 문제
  • 통제방안
    1. 동의에서 책임으로 : 사용자 주체로 보호장치 강구
    2. 결과 기반 책임 원칙 고수 : 예측자료에 의한 불이익 최소화
    3. 알고리즘 접근 허용 : 알고리즘에 대한 접근권 제공, 부당함을 반증할 수 있는 방법 제시
• 미래의 빅데이터
  • 활용의 기본 3요소
    1. 데이터 : 모든 것의 데이터화
    2. 기술 : 알고리즘의 진화와 스스로 학습
    3. 인력 : 처리하기 위한 데이터 사이언티스트, 부당한 피해가 발생하는 것을 막는 알고 리즈 미스트