Hadoop 이 뭘까

하둡이 내세운 새로운 관점

과거에는 크기가 얼마던, 메모리 등으로 옮겨와서 한번에 처리 하는 식이었음 -> Computation 이 중요
하둡은 옮기지않고, 데이터가 저장된 곳 에서 프로그램이 처리하는 방식임
- (분산해서) 저장 담당 = HDFS
- 데이터가 있는 곳에서 처리 되는 것 = MapReduce
- 이 둘을 Hadoop Core 라고 함

하둡 클러스터는 수백~수천개의 서버로 이루어져있음
Hadoop Core 는 아래 세 가지의 중요한 컴포넌트를 기반으로 함
Storage
- HDFS (분산 파일 시스템)
- 파일들은 하둡 클러스터에 분산 저장됨
프로세싱
- 분산된 데이터를 처리함
- MapReduce
  - 프레임워크
  - Mapper 로 각각 분산되어있는 데이터를 처리 후, Reducer 에서 모아 연산을 처리함
  - 분산처리에 필요한 불필요한 작업들을 자동으로 처리함으로써, 개발자들은 신경쓰지 않아도 됨
- Spark
  - MapReduce 작업을 디스크 기반이 아닌, 메모리 기반 (In-Memory) 으로 옮겨 고속화
리소스 관리
- YARN
  - Hadoop Cluster 를 구성하는 모든 서버의 CPU, 메모리 및 스토리지 용량을 파악함
  - 제출된 Hadoop Application 이 최적으로 수행할 수 있게 리소스 관리 할당

HDFS 를 사용하여, 다양한 소스로부터 생성된 다양한 형식의 데이터를 하둡 클러스터로 모음
- 데이터의 형식: RDBMS, Log 데이터, JSON 파일, 텍스트 파일, 이미지 파일 등등...
이 때 Scoop, Flip 등을 이용하여 보다 쉽게 추출할 수 있음

HDFS (Hadoop Distributed File System)
- Hadoop core 의 컴포넌트 중 하나로, 메인 Storage 를 담당
- 크고 경제적인 분산 스토리지
- 64MB, 128MB 라는 대용량 블록 사용
- 최소 3개의 복사본 사용
- 성능 향상 및 안정성
Apache HBase (Apache 하둡 데이터베이스)
- Hadoop 에서 실행되는 NoSQL 데이터베이스
- 데이터의 사이즈에 따라 확장 가능한 (Scalable) 시스템
- 테이블 하나가 수 천 개의 컬럼을 가질 수 있음
- (?) Hadoop Core > Storage 에 왜 안속해있는겨? Apache 껀데

오리지널 Hadoop 프레임워크로, HDFS 만 지원함
기본적으로 Java 로 구현하나, Python 등도 가능
Map + Reduce
Map
- 흩어져 있는 데이터를 Key, Value 의 형태로 연관성 있는 데이터로 묶는 작업
Reduce
- Filtering 과 Sorting 을 거쳐 데이터를 추출, Map 화환 작업 중 중복 데이터를 제거하고 원하는 데이터를 추출하는 작업
데이터를 분산 해서 처리 하는 분산 프로그래밍 모델
분산 처리 기술과 관련된 프레임워크를 의미함

하둡에서 사용되는 텍스트 기반의 데이터 검색 엔진
주로 Cloudera의 Hadoop 사용자를 대상으로 하며, 빅 데이터 세트에서 실시간으로 검색하고 분석하는 데 특화
- 쉽게 Hadoop 데이터에 접근할 수 있음

Apache Lucene을 기반으로 한 오픈 소스 검색 플랫폼
다양한 환경에서 사용될 수 있고, 다른 데이터 소스와의 통합을 위해 다양한 커뮤니티 리소스와 플러그인을 제공
- ex. Hue 를 통해 웹 인터페이스 제공
- 일반적인 검색 애플리케이션에 널리 사용되며, 웹사이트, 기업 내 검색 솔루션 등 다양한 목적으로 활용

Hadoop Core > Storage 에 왜 안속해있는겨? Apache 껀데
- Spark 는 보다 범용적인 용도 로 다양한 곳에서 사용되기 때문인듯함
하둡의 클러스터란?
- 하둡에서 '클러스터'는 여러 대의 컴퓨터(또는 노드)가 네트워크를 통해 연결되어 하나의 기능을 수행하도록 구성된 전체 시스템을 의미
하둡의 클러스터는 여러개인가? 아니면 하나인가?
- 하둡 시스템은 보통 하나의 큰 클러스터로 구성되는 것이 일반적