실습 과정

• 리눅스를 이용한 오라클 가상머신(VirtualBox) 설치 (등록 - master/slice1)
• 하둡 기반의 클러스터-대용량 분산 시스템 사용
• Apache SPARK - 대용량 분산 처리 프레임워크 (외, MR, Tez 등이 존재) (192.168.0.1:15001)
• Apache Zepplin 사용 (192.168.0.1:17000)

• 재플린 사용 예시

• 지역별 기관지율 분석 실습

• 실습 사진

우리는(이병준 외 1명) leelee's라는 소규모 study group을 하고있다.

Kakao에서의 채용사례가 카카오 공용 하둡기반의 클러스트로 관리하는 것처럼 세상이 빅데이터 활용에 눈여기고 있다. 이번 활동은 하둡,SPARK,Zepplin을 이용해서 지역별 기관지율을 분석하고 학습하도록 하였다. 우리가 사용한 데이터는 공용 진찰기록 데이터를 사용하여 'J'로 시작하는 기관지 관련 질병코드들을 조사하여 분석하였다.

사용한 프로그램은 위의 실습 과정과 동일하게 하둡, SPARK, Zepplin을 순서대로 쌓아올려 사용하게 되었다.

결과적으로, 지역별 기관지관련 질병에 걸린 인원을 분석할 수 있었다.

• 가상 머신을 사용하여 두 대의 컴퓨터를 사용하는 이유? : 빅데이터는 기본적으로 용량들이 크기에 분담하여 분석하는 것이 효율적이다. 기본적으로 용량이 큰 파일들은 대체로 열리지도 않아 눈으로 확인하는 것이 불가능하다.
• 하둡(Hadoop) : 링크 존재
• 스파크(Apache SPARK) : 링크 존재
• 재플린(Apache Zepplin) : 링크 존재

카카오(Kakao) 빅데이터 경력직 채용 사례

카카오 빅데이터 경력직 채용 사례

실습 파일

빅데이터.zip