[빅분기] 1과목 1장 3 빅데이터 산업의 이해

1. 데이터 산업의 발전

(1-1) 2010년 이전 : 디지털화와 통합의 시대 

DBMS 개발, 활용 범위 확장, 데이터 처리 방법 및 기술 발전, 업무 효율화를 위한 통합의 시대로 발전, DW구축 및 관리, BPR, CRM, ERP, SCM 등의 프로젝트가 각 기업에서 활용 됨

*데이터의 규모는 EB-> ZB로, 유형은 정형데이터->비정형데이터->사물 인지 정보 로, 특성은 구조화 > 다양성, 복합성, 소셜 -> 현실성, 실시간성으로 변화해간다. 

(1-2) 2010년 이후 : 분석과 연결의 시대 

① 분석

기술 발전으로 인한 데이터이 양적 & 질적 확대 -> 빅데이터의 등장 

빅데이터 처리할 분산병렬처리기술의 발전 -> 빅데이터 분석이 비즈니스에 활용

+ 인공지능 분야의 머신러닝, 딥러닝 기술 발전 

+ DW에서 Data lake 로 진화 -> BI 가 기업 전략 수립의 중요한 파트로 자리 매김

② 연결 

IoT 센서, 분석 장비, 사람, 기업의 연결이 진화 -> 거대한 네트워크 

*마이데이터 : 데이터의 원 소유자인 개인이 데이터에 대한 권리를 소유하고 행사할 수 있어야 한다는 개념 

*데이터 산업의 진화 

데이터 산업의 시대별 진화 (원문 : https://blog.lgcns.com/2287 )

*4차 산업혁명 : 클라우스 슈바프의 4차 산업혁명 , 빅데이터 분석, 인공지능, 로봇공학, 사물 인터넷, 무인 운송 수단, 3D 프린팅, 나노 기술과 같은 7대 분야에서의 새로운 기술 혁신 

*빅데이터와 인공지능 기술의 융합 : 빅데이터와 AI의 정교한 연계를 통한 새로운 재화와 서비스 생산이 중요, 엔진은 AI + 연료는 빅데이터 

 

2. 빅데이터 분석과 인사이트 

(2-1) 빅데이터 분석과 인사이트 

데이터는 크기가 아니라, 데이터로부터 어떤 시각과 인사이트를 얻을 수 있느냐의 문제. 분석적 방법과 성과에 대한 이해부족 

전략적인 인사이트를 가지고 핵심적인 비즈니스에 집중하여 데이터를 분석하고 차별적인 전략으로 기업 운영이 필요

사례1) 싸이월드 : 데이터 분석은 했으나 직관력 보조하는 수단일 뿐, 깊이 있는 분석 x 

사례2) 미국 항공사 : 아메리칸 항공은 타 경쟁사와 차별화 못해서 초기비용은 절감하였으나 경쟁 우위 하락 , 사우스웨스트항공은 데이터 분석 결과 인사이트를 도출하고 활용하여 36년 연속 흑자, 높은 시장가치 확보 

(2-2) 일차원적 분석과 전략 도출을 위한 가치 기반 분석 

*일차원적 분석 (산업별) - 에너지 산업(트레이딩, 공급/수요 예측 - 헷갈리지 않도록 주의할 것) 

일차원적 데이터 분석 어플리케이션의 예 (ADsP에 언급되었던 내용)

*전략 도출을 위한 가치 기반 분석 

일차원적 분석은 업계 내부의 문제에만 포커스를 두는 경우가 대부분이다. 활용 범위를 확장하고 전략적으로 변화시켜 전략적 인사이트를 주는 가치 기반 분석 단계로 나아갈 때에 기업에서 중요한 기회를 발굴하고 경영진의 의사결정에 영향력있는 결과를 공유할 수 있을 것이다. 

 

3. 전략적 인사이트 도출을 위한 역량

(3-1) 데이터 사이언스의 이해와 역할 

데이터 사이언스는 정형 또는 비정형를 막론하고 다양한 유형의 데이터를 대상으로 하여 의미 있는 정보를 추출해내는 학문 

데이터 마이닝은 분석에 포커스, 데이터 사이언스는 분석뿐 아니라 전달 과정, 인사이트 도출에 이르는 전체적 작업을 모두 포괄하는 개념

데이터 사이언티스트의 중요 핵심 역량 : 소통 

(3-2)데이터 사이언스의 구성 요소 

① 분석학(Analytics) : 수학, 확률모델, 머신러닝, 분석학, 패턴 인식과 학습, 불확실성 모델링 등 

② IT(Data Management) : 시그널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징, 고성능 컴퓨터 등 

③ 비즈니스 분석 : 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화 등 

(3-3)데이터 사이언티스트에게 요구되는 역량 

① 하드스킬 : 빅데이터에 대한 이론적 지식(기법, 방법론 등) + 분석 기술에 대한 숙련(최적의 분석 설계 및 노하우)

② 소프트스킬 : 통찰력 있는 분석, 설득력있는 전달, 다분야 간 협력 

(3-4)데이터 사이언스 : 정량분석이라는 과학 + 인문학적 통찰에 근거한 합리적 추론을 탁월하게 조합할 수 있어야 한다.

하드 스킬은 과학 , 소프트 스킬은 인문학에서 나온다. 그리하여 데이터 사이언스는 과학과 인문학의 교차로에 있다는 말이 나왔다. 

 

4. 데이터 사이언스의 미래

(4-1) 현대의 가치 패러다임: 디지털화 , 연결, 에이전시 

- 디지털화 : 운영 프로그램, 소프트웨어 프로그램

- 연결 : 구글 검색 알고리즘, 네이버 컨텐츠 등

- 에이전시 : 복잡한 연결을 효과적이고 믿을만 하게 관리할 수 있는 역할의 필요성 (데이터 사이언티스트의 역량에 좌우)