[데이터베이스 시스템 7판 10장] 빅데이터 정리 | HDFS, MapReduce, Spark, 스트림 처리까지
·
CS STUDY/DB
1. 왜 빅데이터가 등장했을까빅데이터는 단순히 “데이터가 많다”는 뜻이 아니다. 웹, SNS, IoT, 로그 시스템의 성장으로 데이터 양이 너무 커지고 너무 빠르게 들어와서 기존 방식만으로 처리하기 어려워졌다는 점이다.그래서 한 대의 강한 서버보다, 여러 서버를 묶어 병렬로 저장하고 처리하는 방식이 중요해졌다. 클러스터를 구성하는 개별 서버를 보통 node라고 부른다.2. 빅데이터의 3V빅데이터를 설명할 때 가장 자주 나오는 개념이 3V다. 요소 의미 예시 Volume데이터 규모가 매우 큼TB, PB 단위 로그/센서 데이터Velocity데이터가..