[빅분기] 1과목 1장 2 빅데이터 가치

1. 빅데이터의 이해 

(1) 빅데이터란

: 양적으로 크고 질적으로도 광범위한 것 (복잡하고 다양) 

*빅데이터에 관한 다양한 정의가 존재한다. 대체로 비용효율이 높고, 대용량, 고속 및 다양성을 가진 모든 것을 의미한다. 

(1-2) 빅데이터의 특징 

*빅데이터는 데이터의 양(Volume) + 다양성(Variety) + 수집 및 처리 속도(Velocity)가 급격히 증가하면서 나타나는 현상 

*추가로 Value or Veracity  혹은 추가로 Visualization or Variability 추가 -> 4V

(1-3) 빅데이터 출현 배경 

① 산업계의 변화 : 정보 지속적 축적 -> 거대한 데이터 -> 새로운 가치 창출할 수 있는 변화의 상태가 된다. '양질 전환의 법칙'

② 학계의 변화 : 게놈프로젝트, 대형 강입자 충돌기, NASA 기후 시뮬레이션 등에 활용 

③ 관련 기술의 변화 : 디지털화의 급진전, 기술 발전과 가격하락, 클라우드 컴퓨팅 보편화 등 

* 빅데이터 출현에 기여한 기술 : CRM(고객데이터 축적), 인터넷 확산, 무선통신 발전, 모바일 생태계 확산, 클라우드 컴퓨팅 기술 발전, IoT, 데이터 분석 툴의 발전 등 

(1-4) 빅데이터에 거는 기대 

① 산업혁명의 석탄/철 : 제조업, 서비스 분야 등 생산성 향상을 통한 혁명적 변화 기대

② 21세기 원유 : 산업 전반 생산성 향상, 새로운 범주의 산업 창조 기대

③ 렌즈 : 산업 발전에 큰 영향을 줄 것으로 기대 (구글 Ngram Viewer) 

④ 플랫폼 : 다양한 서드파티 비즈니스에 활용될 것으로 기대 (페이스북, 카카오톡 등) 

(1-5) 빅데이터가 만들어내는 변화 

① 사후처리 : 먼저 데이터 수집 후 조합하여 숨은 인사이트 발굴

② 전수조사 : 비용 감소로 인해 데이터 전수조사가 가능해짐 

③ 양 : 양의 증가 -> 분석 정확도 향상 

④ 상관관계 

 

(2) 빅데이터의 가치와 영향 

(2-1) 빅데이터의 가치 

: 빅데이터를 통해 가치있는 결과(인사이트) 창출을 하는 과정이 중요하다. 

*빅데이터 가치 산정의 어려움 : 데이터 활용방식이 불분명, 가치 창출 방식이 새로운 방식이기 떄문에, 분석 기술의 발전으로 데이터의 가치 유무가 상황에 따라 변화할 수 있기 때문에 

(2-2) 빅데이터의 영향 

① 투명성 제고로 연구개발 및 관리 효율성 제고

② 시뮬레이션을 통한 수요 포착 및 주요 변수 탐색으로 경쟁력 강화 

③ 고객 세분화 및 맞춤 서비스 제공 

④ 알고리즘을 활용한 의사결정 보조 혹은 대체 

⑤ 비즈니스 모델과 제품, 서비스의 혁신 등 

*빅데이터 경영혁신 단계 

생산성 향상 -> 발견에 의한 문제 해결 -> 의사 결정 향상 -> 새로운 고객가치와 비즈니스 창출

 

(3) 빅데이터와 비즈니스 모델 

(3-1) 빅데이터 활용 사례 

구글 검색 기능, 월마트 매출 향상, 질병 예후 진단 등 의료분야, 실시간 교통정보 수집, 기후정보, 각종 지질활동, 국가 안전 확보 활동, 정치인과 연예인의 SNS 활용 등 

(3-2) 7가지 빅데이터 활용 기본 테크닉 

① 연관규칙 학습(Association rule learning) : 변인 간에 상관관계 유무 파악 

② 유형분석 (Classification tree Analysis) : 범주 분류 

③ 유전 알고리즘 (Generic algorithms) : 최적화 필요한 문제 해결책을 자연선택, 돌연변이 등과 같은 매커니즘 통해 점진적으로 진화 

i.g. 최대 시청률 얻기 위해 어떤 프로그램 어떤 시간대에 배치, 택배 차량 배치 등

④ 기계 학습 (Machine Learning) : 알려진 특성을 활용 '예측'에 초점 

⑤ 회귀분석 (Regression analysis) : 독립변수 조작 -> 종속변수 변화 확인 -> 변인관계 파악 

i.g. 구매자 나이와 차량 타입의 관계 

⑥ 감정분석 (Sentiment analysis) : 특정 주제에 대한 말이나 글의 감정 분석 i.g. 고객 평가 

⑦ 소셜 네트워크 분석(Social network analysis) : 인플루언서 파악, 영향력 파악, 소셜 관계 파악 

 

(4) 빅데이터 위기 요인과 통제 방안 

① 사새활침해 : 동의 -> 책임으로 해결해야 한다 

② 책임 원칙 훼손 : 성향에 다른 처벌이 아니라 행동 결과 기반 책임 원칙 고수 

③ 데이터 오용 : 알고리즘 접근권 보장, 알고르지미스트 (알고리즘에 의해 불이익 당한 사람 구제하는 전문가) 

*미연방거래위원회(FTC) 소비자 프라이버시 보호 3대 권고사항 

상품 개발 단계에서 부터 보호 방안 적용, 소비자에게 공유 정보 선택 옵션 제공, 수집된 정보 내용 및 접근권 부여