방송대 방통대 유비쿼터스컴퓨팅개론 14강 - 빅데이터와 관련 기술 - 요약 노트 시험족보 예상문제 - 올에이클래스

유비쿼터스컴퓨팅개론 14강 - 빅데이터와 관련 기술

빅데이터의 정의와 정형·반정형·비정형 데이터의 차이, 5V 특성을 학습한다. 빅데이터 수집·적재·처리·분석 과정과 하둡·스파크 기술을 이해하고, 기업과 제조업의 활용 사례 및 개인정보 보호와 보안 과제를 살펴본다.

제1장 빅데이터의 정의와 발전

1. 빅데이터란 무엇인가

빅데이터(Big Data)는 대용량의 정형·비정형 데이터 집합이다. 단순히 데이터 양이 많다는 뜻에 그치지 않고, 이를 분석하여 의미 있는 결과를 도출하는 데 사용되는 데이터와 기술 환경을 함께 가리킨다. 국가정보화전략위원회는 대용량 데이터를 활용·분석하여 가치 있는 정보를 추출하고, 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보화 기술로 정의한다.

1970년대 관계형 데이터베이스가 널리 활용되면서 저장 중심의 데이터센터가 중요해졌고, 데이터 규모가 커지면서 데이터 마이닝 기술이 발전하였다. 빅데이터라는 용어는 1990년대부터 사용되었으며, 2000년대에는 정보 서비스와 IT 유통의 확대에 따라 데이터가 급격히 증가하였다.

2. 데이터 규모의 확대

뉴욕 증권거래소에서는 하루 약 1TB 규모의 거래 데이터가 발생하고, 페이스북에는 약 30PB 규모의 사진 데이터가 저장된 사례가 제시된다. 최근에는 전 세계에서 하루 생성되는 데이터가 약 2.5EB 규모로 추정될 만큼 데이터의 생산량이 커졌다.

단위	크기	의미
TB	1012 바이트	테라바이트
PB	1015 바이트	페타바이트
EB	1018 바이트	엑사바이트

2000년대 중후반 하둡과 같은 기술이 등장하면서 대용량 데이터를 여러 서버에서 분산 처리할 수 있게 되었다. 클라우드 시스템도 대중화되어 널리 활용되고 있으며, NoSQL처럼 빅데이터의 다양한 형태를 표현하고 처리하는 기반 기술도 함께 발전하였다.

제2장 데이터 유형과 빅데이터의 특징

1. 정형·반정형·비정형 데이터

유형	특징	예
정형 데이터	저장 규칙과 스키마가 미리 정해지고 행과 열로 표현	관계형 데이터베이스 테이블, 스프레드시트
반정형 데이터	일반 관계형 테이블은 아니지만 태그나 일부 스키마를 포함	HTML, XML, JSON, 이메일 헤더
비정형 데이터	정해진 표 구조가 없는 데이터	텍스트, 이미지, 오디오, 비디오

비정형 데이터 안에도 부분적으로 정형 정보가 포함될 수 있다. 사진 파일에 촬영 날짜와 시간 같은 메타데이터가 들어 있지만 이미지 내용 자체는 비정형 데이터인 것이 그 예이다. 이메일도 발신자·수신자·제목·날짜 같은 구조화 정보와 자연어 본문을 함께 가지므로 반정형적 성격을 가진다.

빅데이터는 정형 데이터만을 뜻하지 않으며 정형·반정형·비정형 데이터를 모두 다룬다. 전통적인 관계형 데이터베이스만으로 처리하기 어려운 다양성과 규모 때문에 NoSQL과 분산 처리 기술이 활용된다.

2. 빅데이터의 3V와 5V

빅데이터의 공통적인 기본 특징은 볼륨(Volume), 속도(Velocity), 다양성(Variety)의 3V이다. 최근에는 정확성(Veracity)과 가치(Value)를 더한 5V로 설명하기도 한다.

특징	핵심 의미
볼륨	데이터 양이 매우 커 대용량 저장소와 분석 알고리즘이 필요
속도	데이터가 빠르게 생성·입력되므로 실시간 수집과 빠른 처리가 필요
다양성	정형·반정형·비정형 데이터와 복잡한 구조를 모두 처리
정확성	부정확·불완전·비논리적 데이터를 배제하고 신뢰할 수 있는 품질 확보
가치	분석 결과가 기업과 조직의 현실 문제 해결에 기여할 유용한 가치를 가져야 함

데이터가 크기만 해서는 빅데이터 활용이 성공했다고 볼 수 없다. SNS와 같은 수집원에는 잘못된 정보나 출처가 불명확한 내용이 섞일 수 있으므로 정확성을 검증해야 한다. 또한 분석 결과가 의사결정과 문제 해결에 사용되지 못한다면 데이터의 규모가 커도 실질적인 가치는 낮다.

3. 빅데이터의 주요 생성원

빅데이터는 소셜 네트워크, 금융 거래, 물류, 제조업, CCTV, IoT 등 여러 영역에서 생성된다. SNS는 게시글과 댓글뿐 아니라 음악, 이미지, 동영상 같은 원천 데이터를 생산한다. IoT에서는 다양한 분야의 센서가 대량 데이터를 만들며, IDC는 2025년까지 전 세계에 250억 개 이상의 IoT 장치가 디지털 데이터를 생성할 것으로 예측한 사례가 제시된다.

제3장 빅데이터 분석 과정

1. 네 단계 처리 흐름

빅데이터를 올바르게 활용하면 사업 개선 사항을 찾고 인사이트를 제공할 수 있다. 조직의 일반적인 활용 과정은 빅데이터 수집, 적재, 처리, 분석의 네 단계로 구성된다.

2. 빅데이터 수집

빅데이터는 여러 데이터 소스로부터 수집되어야 한다. 외부에서 들어오는 정보를 처리하기 위해 대용량 파일 수집과 실시간 스트림 수집 방식을 이용한다. 빅데이터의 빠른 입출력 속도를 만족시키려면 단일 시스템이 아닌 분산 처리가 가능한 수집 구조가 필요하다.

3. 빅데이터 적재

적재는 수집한 데이터를 분산 저장장치에 영구 또는 임시로 저장하는 기술이다. 관계형 데이터베이스와는 다른 구조가 필요한 경우가 많다. HDFS는 대용량 파일의 배치 적재에 주로 활용되고, 실시간으로 발생하는 대용량 데이터를 저장할 때에는 NoSQL이 활용될 수 있다.

4. 빅데이터 처리

저장된 데이터를 분석할 수 있도록 정형화하고 정규화한다. 데이터의 의미 있는 결론을 얻으려면 먼저 탐색 가능한 구조로 만들고, 탐색 결과를 정기적으로 구조화해야 한다.

5. 빅데이터 분석

수집된 데이터에서 새로운 경향이나 패턴을 찾고 올바르게 해석하여 통찰력을 확보한다. 과거의 흔적에서 보이지 않던 원인을 발견하고 미래 변화를 제시하는 것을 목적으로 한다. 기존 통계와 데이터 마이닝뿐 아니라 최근의 인공지능 기술도 활용할 수 있다.

분석은 마지막 단계만이 아니다

좋은 분석 결과를 얻으려면 수집 시점부터 데이터 출처와 품질을 관리하고, 분석 목적에 맞는 저장·정제 구조를 설계해야 한다.

제4장 하둡과 스파크

1. 대용량 적재 기술의 구분

빅데이터는 일반적인 데이터베이스 기술만으로 처리하기 어려운 규모를 가진다. 데이터 발생 주기에 따라 배치 처리 데이터와 실시간 스트림 데이터로 구분할 수 있다. 배치 처리 데이터는 대용량 파일 전체를 분산 저장장치에 저장한 뒤 처리하고, 실시간 데이터는 생성되는 즉시 분석할 수 있어야 한다.

2. 하둡과 HDFS

하둡(Hadoop)은 여러 서버를 연결하여 대용량 빅데이터를 분산 처리하도록 지원하는 자바 기반 오픈소스 프레임워크이다. 하둡 분산 파일 시스템(HDFS)과 프로세싱 컴포넌트인 맵리듀스(MapReduce)를 제공한다.

HDFS는 수집한 대용량 데이터 블록을 작고 균일한 블록으로 나누어 여러 서버에 분산 저장한다. 여러 서버에 블록을 중복 저장할 수 있으므로 일부 서버에 오류가 생겨도 다른 서버에서 복구하여 내결함성과 높은 신뢰성을 얻는다.

HDFS는 마스터-슬레이브 구조를 사용한다. NameNode는 마스터 노드로 각 데이터 노드에 저장된 파티션과 관련된 메타정보를 관리한다. 여러 DataNode는 슬레이브 역할을 하며 사용자 요청에 따라 자신이 저장·관리하는 파티션의 실제 읽기·쓰기 작업을 담당한다. 데이터가 계속 증가하면 더 작은 집합 또는 파티션으로 세분화할 수 있다.

3. 맵리듀스

맵리듀스는 여러 사람이 일을 나누어 동시에 수행하고 결과를 최종적으로 합치는 분산 처리 개념이다. Map 단계에서 데이터 조각에 적합한 작업을 수행하고, Shuffle·Sort로 같은 키를 모은 뒤 Reduce 단계에서 결과를 합친다. 사용법이 비교적 단순하고 특정 데이터 모델이나 스키마에 의존하지 않아 높은 확장성을 가진다.

4. 스파크와 하둡 비교

아파치 스파크(Spark)는 오픈소스 기반의 범용 분산 클러스터 컴퓨팅 프레임워크이다. MapReduce의 디스크 중심 패러다임 한계를 극복하기 위해 등장했으며, 중간 결과를 디스크에 반복 기록하는 대신 메모리에 유지하는 인메모리 처리 방식을 사용해 실시간 데이터 처리에 유용하다.

구분	하둡 중심 처리	스파크
주 저장·처리	디스크와 HDFS, 맵리듀스	메모리 중심 처리
장점	대용량 배치 처리, 확장성과 내결함성	반복·실시간 처리 속도와 유연성
비용 특성	저장장치 중심	더 많은 메모리 자원이 필요

하둡은 Map 단계에서 필요한 데이터를 추출하고 Reduce 단계에서 중복을 제거하고 원하는 형태로 가공한 뒤 다시 디스크에 저장한다. 스파크는 메모리에 데이터를 복사하고 작업 완료 후 메모리에 다시 쓰는 방식으로 빠르게 처리한다.

제5장 빅데이터 응용 분야

1. 기업 활동과 서비스

빅데이터는 비용 절감, 새로운 수익원 창출, 문제 해결을 위해 활용된다. 구체적으로 새로운 제품과 서비스 개발, 유지보수, 비용 절감, 고객 경험, 리스크 관리, 인공지능 데이터 처리 등에 사용된다.

기존 고객의 구매 후기, SNS 데이터, 최근 관련 동향과 구매 패턴을 분석하면 새로운 트렌드를 이해하고 신제품 개발에 활용할 수 있다. 공장 설비에 센서가 수집한 데이터를 분석하면 고장 발생 가능성을 미리 파악하여 유지보수 비용을 줄일 수 있다.

기업 전체의 업무 데이터를 분석하면 비효율적인 세부 업무를 발견하고 더 신속한 프로세스를 제안할 수 있다. 구매 고객을 관찰하고 정서와 반응을 분석하면 개인 맞춤형 경험을 제공할 수 있다. 코로나19와 같은 경험하지 못한 위기에서도 발생 가능한 리스크를 미리 파악하고 대비하는 데 활용된다.

인공지능 활용 분야가 확대되면서 빅데이터 시스템은 인공지능에 필요한 대용량 학습데이터를 수집·전처리·탐색·가공하는 역할을 수행한다.

2. 제조업 활용

일반적인 제조 공정은 기획·설계, 생산, 유통·판매 단계로 나뉘고 각 단계에 자동화 도구가 존재한다. 단계별 데이터가 개별 관리되면 전체 프로세스의 최적화를 찾기 어렵다. 여러 데이터를 통합 저장하고 빅데이터 분석을 수행하면 제조 프로세스의 비효율성을 제거할 수 있다.

제조 활용	내용
생산설비 고장시간 최소화	센서 데이터를 시각화해 설비 상태와 문제 원인을 파악하고 해결 방법과 조기 경보 제공
실적관리	라인별 목표치와 실제 생산 실적 차이를 분석해 원인과 대응 방안 제시
생산제품 추적	바코드 스캐너나 무선 센서 데이터로 원자재부터 완제품까지 추적하고 불량·재고·출하 시점 관리

제6장 빅데이터의 해결 과제

1. 규모 증가와 기반 기술

빅데이터 분석 기술이 발전해도 생성되는 데이터는 계속 증가한다. 전 세계 데이터 규모가 엑사바이트 수준으로 커지는 만큼 이를 효율적으로 저장하고 처리할 기반 기술도 함께 발전해야 한다. 최근에는 초거대 언어 모델과 같은 대용량 데이터 기반 기술도 중요한 활용 영역이 되었다.

2. 보안과 개인정보 보호

빅데이터는 여러 경로에서 수집한 데이터를 활용하므로 시스템 접근 보안과 개인정보 보호가 중요하다. 저장 데이터 보안은 조직이 관리하는 데이터와 정보를 보호하는 정책과 세부 기술을 의미한다. 개인을 식별할 수 있는 이름, 주민등록번호, 전화번호, 인터넷 계정, 주소, 직업, SNS 관련 정보와 의료정보 등을 원칙 없이 수집해서는 안 된다.

개인 맞춤형 서비스가 주요 분석 목적이라면 개인정보의 활용과 보호 사이에 충돌이 생긴다. 수집 데이터의 개인식별정보는 비식별화(de-identification)한 뒤 저장해야 한다. 이름 일부, 주소 상세 부분, 전화번호 일부를 가리는 것이 예이다.

그러나 비식별화된 정보도 여러 소스의 데이터를 결합하면 개인을 다시 식별할 수 있다. 주민등록번호 없이도 생년월일, 성별과 거주지 조합으로 특정인을 유추할 수 있는 것이 재식별화(re-identification)이다. CCTV 영상이나 드론이 촬영한 영상도 개인 정보 수집 문제를 일으킬 수 있으므로 지속적인 관리와 보호 대책이 필요하다.

비식별화는 끝이 아니라 과정이다

직접 식별자를 지우는 것만으로 안전이 보장되지 않는다. 다른 데이터와의 결합 가능성, 접근 권한, 저장·전송 보안과 이용 목적을 함께 관리해야 한다.

핵심 개념 정리

정의: 빅데이터는 대용량 정형·반정형·비정형 데이터와 이를 분석해 지식과 가치를 얻는 기술 환경이다.

5V: 볼륨, 속도, 다양성, 정확성, 가치가 핵심 특징이다.

처리 과정: 수집, 적재, 처리, 분석의 네 단계를 거친다.

하둡: HDFS와 MapReduce로 대용량 데이터를 분산 저장·배치 처리한다.

스파크: 인메모리 처리를 활용해 반복 작업과 실시간 처리에 강점을 가진다.

활용: 신제품, 유지보수, 비용, 고객 경험, 리스크, AI와 제조 공정 최적화에 쓰인다.

과제: 데이터 규모에 대응하는 기반 기술, 보안, 개인정보 비식별화와 재식별 방지가 필요하다.

최종 정리

빅데이터의 핵심은 많은 데이터를 모으는 데 있지 않다. 목적에 맞는 데이터를 신뢰할 수 있게 수집하고 분산 기술로 처리하여 실제 가치를 만들며, 동시에 개인정보와 보안을 책임 있게 관리해야 한다.

예상문제 20선

1. 빅데이터의 정의로 가장 적절한 것은?

① 대용량의 정형·비정형 데이터를 분석해 가치를 얻는 데이터와 기술 환경② 작은 표 하나만 저장하는 기술③ 비정형 데이터를 모두 삭제하는 방식④ 분석하지 않는 파일 보관소

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
빅데이터는 규모와 형태가 다양한 데이터를 처리·분석해 지식과 가치를 만드는 기술을 포함한다.

2. 1PB의 크기는?

① 10¹² 바이트② 10¹⁵ 바이트③ 10¹⁸ 바이트④ 10⁹ 바이트

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
PB는 페타바이트이며 10의 15제곱 바이트에 해당한다.

3. 행과 열, 미리 정한 스키마로 저장되는 데이터는?

① 비정형 데이터② 영상 데이터③ 정형 데이터④ 음성 데이터

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
정형 데이터는 규칙과 스키마가 정해지고 관계형 테이블처럼 행과 열로 표현된다.

4. 반정형 데이터의 예는?

① 순수 이미지 픽셀만② 관계형 테이블만③ 아날로그 소리만④ HTML·XML·JSON

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
HTML, XML과 JSON은 일반 테이블은 아니지만 태그나 구조적 규칙을 가진 반정형 데이터이다.

5. 빅데이터의 기본 3V에 포함되지 않는 것은?

① 볼륨② 가상현실③ 속도④ 다양성

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
기본 3V는 Volume, Velocity, Variety이다.

6. 잘못되거나 출처가 불명확한 데이터를 걸러 신뢰성을 확보하는 특성은?

① 볼륨② 속도③ 정확성④ 다양성

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
Veracity는 수집 데이터의 정확성과 신뢰성을 확보하는 특성이다.

7. 빅데이터 처리의 올바른 순서는?

① 분석-삭제-수집-적재② 적재-분석-수집-처리③ 처리-수집-분석-적재④ 수집-적재-처리-분석

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
데이터를 모아 저장하고 분석 가능한 형태로 처리한 뒤 패턴과 통찰을 분석한다.

8. 대용량 파일의 배치 적재에 주로 활용되는 것은?

① HDFS② HTML③ RFID④ CSS

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
HDFS는 대용량 파일을 블록으로 나누어 여러 서버에 분산 저장한다.

9. 하둡의 구성요소 조합으로 옳은 것은?

① HTML과 CSS② HDFS와 MapReduce③ RFID와 GPS④ JSON과 XML만

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
하둡은 분산 파일 시스템 HDFS와 분산 처리 방식 MapReduce를 제공한다.

10. HDFS에서 메타정보를 관리하는 마스터 노드는?

① DataNode② ReduceNode③ NameNode④ SparkNode

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
NameNode는 파일 블록의 위치와 파티션 정보를 관리하고 DataNode가 실제 데이터를 처리한다.

11. HDFS가 일부 서버 장애에도 복구 가능한 이유는?

① 데이터를 한 서버에만 저장해서② 메타정보를 삭제해서③ 모든 블록을 압축하지 않아서④ 데이터 블록을 여러 서버에 중복 저장해서

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
복제된 블록을 다른 서버에서 읽어 장애 데이터를 복구할 수 있어 내결함성을 확보한다.

12. MapReduce에서 데이터를 키별로 가공하는 첫 처리 단계는?

① Map② Delete③ Backup④ Display

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
Map 단계가 입력 조각을 처리하고 이후 같은 키가 모여 Reduce에서 합쳐진다.

13. 스파크의 주된 처리 특징은?

① 종이 문서 기반 처리② 인메모리 분산 처리③ 센서 미사용④ 단일 서버 전용 처리

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
스파크는 중간 데이터를 메모리에 유지하여 반복·실시간 작업을 빠르게 처리한다.

14. 다음 중 빅데이터의 기업 활용 분야가 아닌 것은?

① 신제품 개발② 고객 경험 개선③ 모든 데이터를 분석 없이 폐기④ 리스크 관리

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
빅데이터는 제품·비용·고객·리스크와 AI 학습을 개선하는 데 활용된다.

15. 제조업에서 센서 데이터를 이용해 설비 이상을 미리 찾는 목적은?

① 고객 정보를 삭제하기 위해② 스키마를 없애기 위해③ 생산량을 숨기기 위해④ 고장시간과 유지보수 비용을 줄이기 위해

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
상태와 이상 패턴을 분석하면 장애를 조기에 경보하고 설비 중단 시간을 최소화할 수 있다.

16. 생산제품 추적에 활용할 수 있는 장치는?

① 바코드 스캐너와 무선 센서② 종이 달력만③ 스피커만④ 모니터 전원만

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
바코드와 센서 데이터를 연결하면 원자재부터 생산·포장·출하까지 제품 이력을 추적할 수 있다.

17. 개인식별정보를 알아보기 어렵게 처리하는 것은?

① 재식별화② 비식별화③ 맵리듀스④ 스트림 적재

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
비식별화는 이름, 주소와 전화번호 같은 직접 식별 정보를 가리거나 변환한다.

18. 비식별 자료를 다른 자료와 결합해 개인을 다시 알아내는 것은?

① 분산 저장② 배치 처리③ 재식별화④ 정규화

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
여러 준식별 정보를 조합해 특정인을 유추하는 것을 재식별화라고 한다.

19. 개인정보 보호 원칙으로 옳은 것은?

① 가능한 모든 개인정보를 무조건 수집한다② 비식별화하면 접근 통제가 필요 없다③ CCTV 정보는 개인정보가 될 수 없다④ 목적에 필요한 정보만 수집하고 결합 위험까지 관리한다

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
수집 목적과 최소 범위를 지키고 비식별화 이후의 재식별 위험과 접근 보안도 관리해야 한다.

20. 빅데이터 활용의 바람직한 방향은?

① 신뢰할 데이터를 효율적으로 처리해 가치를 만들고 개인정보를 보호한다② 데이터 양만 늘리고 분석 목적은 두지 않는다③ 보안 없이 모든 원본을 공개한다④ 정확성이 낮아도 무조건 사용한다

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
빅데이터는 처리 기술, 분석 가치, 데이터 품질과 개인정보 보호를 함께 충족해야 한다.