kth DAISY 블로그 시작합니다.

By | 2014-10-22

Open & Share

 빅데이터에 대한 정의는 따로 말하지 않아도 최근의 Hot Issue임에는 틀림 없습니다. 다만, 빅데이터라는 것이 새로운 것이 아니라, 이미 있었던 다양한 개념, 즉, 검색, 데이터 마이닝, 고객 분석 등이 최근 들어 빅데이터라는 단어로 재포장되어 지는 것 같습니다.

 최근 들어 빅데이터가 존재하느냐? 곧 사라질 것이다? 등등의 이야기가 나오고 있지만, 사실은 수 년 전 부터, 혹은 그 오래 전 부터 빅데이터 프로젝트나 실생활에 활용이 되어지고 있었습니다. 실생활 사례를 빼고라도, 기업 내의 다양한 사례들은 많이 존재하지만, 사실 기업들은 공개, 공유 하기를 꺼려하는게 사실입니다. 많은 이유가 있겠지만, 보안적인 측면이 강하겠지요.

 저도 이런 기업내 조직에서 빅데이터를 시작했습니다. 시작할 당시 제가 몸담고 있던 KTH는 “Open & Share” 라는 가치를 내세우는 조직문화가 있어서, 좀 더 자연스럽게 공개, 공유를 할 수 있어서 좋은 환경에서 시작할 수 있었던 거 같습니다. 일례로, KTH내에 있는 다양한 서비스들의 데이터를 모두 중앙에 수집해서, 데이터에 관심있는 모든 개발자나 서비스 담당자들에게 오픈할 수 있는 환경을 만들 수 있었습니다.  이런 데이터를 다양한 시선과 다양한 조합으로 새롭고 의미있고 가치있는 데이터를 만들어 낼 수 있었습니다. 조직 문화가 뒷받침되지 않으면 가능하지 않을 일이죠. “Open & Share”의 장점에 대해서는 더 언급할 필요가 없겠지요.

Intro.

 이 곳은 지금 시작하시는 혹은 이미 시작하신 여러분들과 같이 조직 내에서 빅데이터를 이해 시키고, 플랫폼을 구축하고자 했던, 다양한 경험과 실사례를 공유, 공개, 토론하는 곳입니다.

빅데이터의 원래의 목적은  서비스, 생활, 시스템운영 혹은 경영을 위한 인사이트를 얻게 하고, 이를 통해 서비스 활성화, 안정화, 생활에 도움 및 매출 극대화라고 생각합니다. 대부분 빅데이터라 하면, 플랫폼, 그 중에서도 Hadoop Eco-System  이 무엇인지, Open Source가 안정적인지, 플랫폼은 어떻케 구축을 해야 하는지를 걱정을 합니다. 플랫폼은 필요에 의해서 자연스럽게 하나씩, 하나씩 만들어 나갈  수 있습니다. 어쩌면, 기업 내에 꼭, 빅데이터 플랫폼이 필요치 않을 수 도 있습니다. 즉, 기존의 RDBMS나 Legacy로도 충분할 수 도 있으며, 또는 많은 오픈 소스 중 적절한 것을 통해 작고 빠르게 만들어 수행할 수 도 있습니다.

빅데이터 3가지 수행원칙

빅데이터 미션 수행을 하면서 원칙으로 삼은 3가지는 아래와 같습니다.

  1. 시스템 구축이 목적이 아니라 서비스 분석, 인사이트 도출 등이 우선이다.
  2. 2주 정도의 작은 단위의 기간을 통해 프로토타이핑을 하고, 시스템은 작은 규모로, 필요한 시스템부터 하나씩 하나씩 도입,적용해나가며 완성해 나간다.
  3. 분석, 인사이트 도출과 프로토타이핑 된 내용들은 모두 Visualization, 자동화하기 위해 노력한다.

키워드는 서비스 분석, 프로토타이핑, Visualization이다. 즉, 분산처리, 대용량 분산저장, 배치 처리 플랫폼, 실시간 처리 플랫폼 등 기술적인 요구사항 수행이 아니라는 것이다. 위 3가지 큰 수행 원칙을 가지며, 진행을 하면 자연스럽게 빅데이터를 제대로 분석, 서비스 및 사업에 도움이 되는 빅데이터 미션이 완성이 될 것이다.

사례공유

realtime_top_channel olleh tv를 통해 시청을 하신다면, 그림과 같이 “실시간 인기채널”이라는 가이드를 볼 수 있을 것입니다. 지금 TV에서 광고로도 나오고 있죠. 실시간 시청순위를 1위부터 27위까지 9개씩 3페이지 보여주고 있습니다. 여기에는 단순히 인기순서를 나열하는 것이지만, 그 뒷 단 에서는 수백 만의 olleh tv 셋톱박스 채널 로그를 수집하고 분석하여, 그것도 무려, 초단위 미만으로 계산하는 실시간 빅데이터 기술이 활용된 사례입니다.

앞으로 많은 관심과 성원 부탁드립니다.

KTH DAISY(Data Intelligence System)!

 

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다.