빅데이터란 무엇인가
 

현시대를 한 단어로 말하면 4차 산업혁명 시대라고 할 수 있다. 농업사회를 지나서 인류가 그야말로 급진적으로 성장한 시기가 바로 산업화 시대라고 지칭할 수 있다. 1차 산업혁명은 기계 혁명, 2차 산업혁명은 전기 혁명, 3차 산업혁명은 정보와 컴퓨터 혁명이라고 한다면 4차 산업혁명은 인공지능의 혁명이라고 말할 수 있다. 4차 산업혁명의 핵심 기술로는 인공지능, 빅데이터, 사물인터넷, 로봇, 나노, 양자역학, 3D프린터, 무인 자동차와 드론 등이 있다. 오늘은 4차 산업혁명의 3대 핵심 중 하나인 빅데이터에 대해서 생각해 보려고 한다.

4차 산업혁명의 기본 흐름을 초연결, 초스피드, 초지능, 초현실로 표현할 수 있다. 4차 산업혁명은 그야말로 우리가 상상하는 모든 것이 현실화 내지는 가상에서 실현 가능한 형태로 나타날 것이다. 이런 놀라운 시대를 살아가는 인류는 한편으론 엄청난 기회가 올 것이며, 동시에 이 기술을 잘못 사용한다면 엄청난 불행이 닥칠 수도 있다.

먼저 빅데이터의 정의를 내리고 시작해 본다. ‘빅데이터란 각종 전자기기와 통신 매체에서 공개되었지만 체계화되지 않은 정형, 비정형의 물질적, 학문적, 사상적으로 주고받은 방대한 정보 데이터의 집합을 빅데이터라고 한다. 이 방대한 빅데이터를 활용 분석하여 새로운 가치를 창출하고 문제와 해법을 찾아내며, 또한 미래를 예측하고 새로운 비전을 찾아내는 거대한 정보 생태계 흐름을 만드는 것을 빅데이터 기술이라고 한다.’(필자)

빅데이터를 간단히 요약하면 빅데이터란

1. 수집되고 공개 되었으나 체계화되지 않은 방대한 정보 데이터를 말한다.

2. 빅데이터를 수집, 분류, 가공하고 분석하여 새로운 가치를 창출하는 것이다.

3. 빅데이터를 활용하여 다양한 문제와 해법을 찾는 것을 말한다.

4. 빅데이터를 통해서 미래를 예측하며, 새로운 비전을 찾아내는 거대한 데이터 생태계의 흐름을 만드는 것을 빅데이터라고 한다.

빅데이터의 기초는 과거와 현재 속에서 사용하고 수집된 모든 물질적, 학문적, 사상적인 방대한 정보 데이터를 빅데이터의 기초라고 한다. 이 빅데이터의 정보를 바탕으로 데이터를 분석하고 의미 있고, 다양한 가치를 창출하는 것이다. 따라서 이런 빅데이터를 가지고 21세기 원유라고 일컫는 것이다.

빅데이터의 핵심은 5V라고 한다. 즉 규모(Volume), 다양성(Variety), 속도(Velocity), 정확성(Veracity), 가치(Value)를 말한다. 여기에 빅데이터를 통한 수요와 필요, 문제와 해법, 미래 예측과 비전 제시, 통합 정보, 통합 학문, 통합 진리의 체계를 세우는 것, 등이 빅데이터의 핵심 과제라고 할 수 있다.

빅데이터의 과정은 빅데이터의 수집, 분류, 분석, 가공, 가치 창출 등의 과정을 거친다. 여기에는 인공지능 알고리즘, 머신러닝 알고리즘, 딥러닝 알고리즘으로 분석하는 과정을 거친다. 빅데이터의 수집에서 가치 창출까지, 인공지능 머신러닝, 딥러닝 알고리즘의 과정을 빅데이터의 과정이라고 할 수 있다.

빅데이터의 목적은 첫째, 인간과 세상에 존재하고 활동하는 모든 흔적들을 정보 매체에 담아서 의미 있게 보관하는 것이다. 이 기록은 개인의 일기장, 국민의 일기장, 국가의 일기장, 지구촌의 일기장 같은 것으로 인류의 문화유산 같은 기록을 남기는 것이다. 둘째, 이 빅데이터의 정보를 수집, 분류, 분석, 가공하여 보석보다 빛나는 가치를 재창출 하는 것이 목적인 것이다. 셋째, 빅데이터를 통해서 수요와 필요를 찾아내고 잠재된 요구를 파악하는 것이며, 어떤 문제를 어떻게 해결할 것인지를 찾아내는 것이다. 또한 현재의 데이터를 통해서 미래를 예측하며 비전을 찾아내는 것도 빅데이터를 공부하는 목적이다.

빅데이터의 본질은 첫째, 빅데이터를 통해서 인류 삶의 실체를 성찰하는 것이다. 즉 인류가 어떻게 살아왔는지를 살피는 것이다. 둘째, 인류의 삶의 실체를 알고 반성하는 것이다. 즉 인류가 살아온 삶의 지표가 잘못되었다면 그것을 반성하는 것이다. 셋째, 인류 삶의 실체를 깨닫고 자신과 인류의 지표를 바르게 세우고 올바로 살아가는 것이다. 이것이 빅데이터를 배우는 본질이다.

결론

인류는 역사의 수많은 도전 속에서 그것에 대한 적절한 방안을 모색하며 기술과 정보를 발전시켜 왔다. 그 마지막 기술의 정점에 4차 산업혁명이 있다. 빅데이터가 하드웨어라면 인공지능은 소프트웨어이다. 이 두 가지를 잘 접목하고 발전시킨 나라가 미래의 먹거리, 미래의 문화, 미래의 교육과 정치를 선도하게 될 것이다. 20세기는 중화학 공업을 지배하는 나라가 지구촌을 지배하였다. 하지만 21세기 현재는 빅데이터와 인공지능을 발전시킨 나라가 지구촌을 지배할 것이다. 이런 역사적 사명 앞에서 우리가 무엇을 해야 할 것인지는 자명하다.

+아무리 가까워도 걷지 않으면 도달하지 못한다는 말이 있다.

이것은 혼자서 가야할 길도 있지만 함께 가야 할 길도 있다는 뜻이다.

이것이 인공지능과 빅데이터인 것이다.

인공지능과 빅데이터를 준비하여

미래를 선도하는 대한민국호를 만들고 운행하는데

우리 모두가 힘써서 나가야 하지 않을까요. 고맙습니다.

Tag

#이음플러스뉴스 #홍성민 #칼럼 #빅데이터