방송대 오픈소스기반데이터분석 14강: 비정형 데이터와 VLM·프롬프트 설계
패션 사진 한 장은 표처럼 열 이름을 갖지 않지만 색상, 아이템, 분위기와 맥락을 풍부하게 담고 있다. 문제는 이 정보를 분석 가능한 표현으로 바꾸는 일이다. 이 글은 RSS가 자료의 위치를 전달하고, VLM이 이미지를 언어 표현으로 바꾸며, 토크나이저와 프롬프트가 입력과 출력의 규칙을 정하는 관계를 하나의 정보 변환 지도로 설명한다.
같은 사진도 질문이 달라지면 서로 다른 데이터가 된다
패션 매거진의 사진을 보고 “이번 달 유행은 무엇인가?”라고 묻는 상황을 생각해 보자. 사람은 사진에서 옷의 색, 종류와 스타일을 한꺼번에 읽지만 컴퓨터에 들어오는 것은 픽셀의 배열이다. 사진 파일을 모았다는 사실만으로는 트렌드 표가 생기지 않는다. 무엇을 찾을지 정하고, 이미지에서 그 정보를 추출해 일정한 이름으로 기록해야 비교와 집계가 가능해진다.
예를 들어 같은 사진도 질문이 “파란색 옷인가?”, “재킷이 있는가?”, “격식 있는 스타일인가?”에 따라 필요한 출력이 달라진다. 따라서 비정형 데이터 분석의 핵심은 원자료를 억지로 표라고 부르는 것이 아니라, 분석 질문에 맞는 표현으로 변환하고 그 변환이 일관적인지 검증하는 것이다.
분석의 출발점: 파일 형식보다 먼저 최종 보고서에서 비교할 항목을 정한다. 그래야 수집할 자료, VLM에 물을 내용과 저장할 열이 함께 결정된다.
비정형은 정보가 없다는 뜻이 아니라 고정 스키마가 없다는 뜻이다
비정형 데이터는 일정한 형식이나 고정된 구조 없이 저장된 정보다. 이미지, 영상, 음성, 자유 텍스트가 대표적이다. 정형 데이터처럼 모든 레코드에 동일한 열이 미리 정의되어 있지 않아 전통적인 표 중심 분석을 바로 적용하기 어렵지만, 소비자 취향이나 시장 흐름처럼 수치 열만으로 표현하기 어려운 맥락을 담을 수 있다. 강의자료는 비정형 데이터의 양을 전체 대비 70%로 소개한다. 이 비율은 해당 강의의 개괄적 설명 기준으로 읽고, 비정형 여부를 판정하는 정의로 사용하지 않는다.
여기서 “구조가 없다”를 “아무 규칙도 없다”로 이해하면 안 된다. 이미지에는 해상도와 픽셀 배열이 있고 문장에는 단어 순서가 있다. 다만 그 구조가 곧바로 ‘색상’, ‘스타일’, ‘선호도’ 같은 분석 열을 제공하지 않을 뿐이다. 분석가는 원자료의 형식과 분석용 스키마 사이에 변환 규칙을 설계해야 한다.
| 구분 질문 | 정형 데이터 | 비정형 데이터 | 분석 전에 필요한 일 |
|---|---|---|---|
| 레코드 구조가 고정되어 있는가? | 행과 열의 의미가 사전에 정의된다. | 콘텐츠마다 길이와 표현이 달라질 수 있다. | 분석 단위와 추출 항목을 정한다. |
| 값을 바로 집계할 수 있는가? | 자료형과 단위가 맞으면 가능하다. | 이미지·음성·문장을 그대로 합산할 수 없다. | 분류, 설명 또는 특징 추출로 표현을 바꾼다. |
| 정보의 장점은 무엇인가? | 검색·비교·계산이 쉽다. | 맥락과 표현의 세부 정보가 풍부하다. | 풍부함을 잃지 않되 일관된 기준으로 기록한다. |
RSS는 콘텐츠 자체와 전달용 구조를 연결하는 외피다
강의자료는 RSS를 Rich Site Summary로 소개하며, 자주 갱신되는 사이트의 정보를 XML 형식으로 구조화해 제공하는 기술로 설명한다. 제목, 요약과 콘텐츠 위치 같은 항목을 반복 가능한 구조로 받을 수 있으므로 새 글을 하나씩 화면에서 찾는 대신 피드의 항목을 순서대로 처리할 수 있다.
중요한 구분은 RSS가 사진이나 기사 본문을 자동으로 분석해 주는 기술은 아니라는 점이다. RSS는 비정형 콘텐츠에 접근할 수 있는 주소와 요약 정보를 구조화해 전달한다. 피드 항목에서 이미지 위치를 얻은 뒤 실제 이미지를 내려받고, 그 이미지의 스타일을 해석하는 일은 별도의 단계다.
| 층 | 학습용 패션 피드 예 | 담당 역할 | 혼동하면 생기는 오류 |
|---|---|---|---|
| RSS/XML 외피 | 제목, 발행 정보, 요약, 이미지 위치 | 반복 항목과 접근 경로를 전달한다. | 요약 문장을 이미지 분석 결과로 착각한다. |
| 비정형 콘텐츠 | 착장 사진과 기사 자유 텍스트 | 분석하려는 실제 시각·언어 정보를 담는다. | 파일 수만 세고 내용의 특징을 추출하지 못한다. |
| 분석용 레코드 | 대표색, 아이템, 스타일, 근거 문장 | 비교와 집계가 가능한 일관된 결과를 저장한다. | 모델의 자유로운 문장을 그대로 모아 범주가 흩어진다. |
RSS의 XML은 구조화되어 있어도, 그 피드가 연결하는 사진과 기사 내용은 비정형일 수 있다. 수집 통로의 형식과 분석 대상의 형식을 분리해서 판단해야 한다.
VLM은 이미지 표현과 언어 표현을 같은 작업 흐름에서 연결한다
시각 언어 모델(VLM)은 이미지와 텍스트를 함께 처리하여 이미지 내용을 자연어로 설명하거나 지시에 맞는 답을 생성하는 멀티모달 모델이다. 강의자료의 도식은 이미지가 시각 인코더를 거쳐 이미지 토큰이 되고, 투영 계층이 이를 언어 모델이 처리할 표현으로 맞추는 흐름을 보여 준다. 텍스트 지시는 토크나이저와 임베딩을 거쳐 언어 표현이 되고, 두 입력이 VLM 안에서 함께 처리된다.
출력 쪽에서는 모델이 만든 표현이 단어 조각으로 변환되고 디토크나이저를 거쳐 사람이 읽는 문장이 된다. 즉, “사진을 보고 스타일을 설명하라”는 작업에는 이미지 처리만 있는 것이 아니다. 이미지의 시각 특징, 사용자의 언어 지시와 자연어 출력이 연결되어야 한다.
강의 정리에서는 CNN, VLM과 LLM을 비정형 데이터를 해석하는 딥러닝 기술군으로 함께 제시한다. 이 차시의 실습에서는 특히 VLM이 사진을 스타일 설명으로 바꾸고, LLM이 그 설명에서 한글 색상·스타일 키워드와 보고서 초안을 만드는 역할로 연결된다. 기술 이름을 나열하기보다 어떤 입력을 어떤 출력으로 바꾸는지 구분하는 것이 중요하다.
| 구성 요소 | 들어오는 것 | 나가는 것 | 전체 흐름에서의 책임 |
|---|---|---|---|
| 시각 인코더(ViT) | 이미지 | 이미지 토큰 | 픽셀 패턴을 모델이 다룰 특징 표현으로 바꾼다. |
| 투영 계층 | 이미지 특징 | 언어 모델과 연결 가능한 표현 | 시각 표현과 언어 처리 공간 사이를 이어 준다. |
| 토크나이저 | 사용자의 텍스트 | 토큰과 숫자 ID | 문장을 모델의 입력 단위로 분리하고 수치화한다. |
| 임베딩 | 토큰 ID | 연속적인 수치 표현 | 토큰을 모델 계산에 사용할 벡터로 바꾼다. |
| 디토크나이저 | 출력 단위 | 읽을 수 있는 텍스트 | 모델 출력을 자연어 문자열로 복원한다. |
토크나이저는 문장을 이해하기 전에 처리 단위와 ID를 정한다
토크나이저는 자연어와 모델 계산 사이의 번역기 역할을 한다. 먼저 문장을 단어, 서브워드 또는 문자 수준의 토큰으로 나누고, 각 토큰을 미리 정의된 어휘 사전의 숫자 ID에 대응시킨다. 모델은 원문 글자 자체가 아니라 이 수치화된 입력을 바탕으로 계산한다.
토큰은 사람이 생각하는 ‘의미 단어’와 언제나 일치하지 않는다. “여름재킷”이 하나의 토큰이 될 수도 있고 여러 조각으로 나뉠 수도 있다. 따라서 화면에 보이는 글자 수와 모델이 처리하는 토큰 수를 같은 것으로 보거나, 토큰 ID가 단어의 중요도라고 해석하면 안 된다. ID는 어휘 항목을 가리키는 식별자이며 크기 자체에 순위 의미가 있는 값이 아니다.
오개념 교정: 토큰화는 문장의 의미를 완성하는 단계가 아니다. 입력을 계산 가능한 단위로 나누고 ID로 바꾸는 전처리이며, 문맥을 이용한 해석은 이후 모델 계산에서 이루어진다.
프롬프트는 부탁 문장이 아니라 분석 규격서다
프롬프트는 모델에 제공하는 입력 텍스트로, 대화를 시작하고 출력 방향을 설정한다. 질문이나 명령만 넣을 수도 있지만 분석 결과를 여러 이미지에 걸쳐 비교하려면 역할, 대상, 판정 기준, 출력 형식과 제한을 함께 정하는 편이 낫다. 복잡한 작업은 한 번에 모두 요구하기보다 필터링과 상세 분석을 나누면 어느 단계에서 오류가 생겼는지도 확인하기 쉽다.
다음은 강의의 패션 프로젝트를 바탕으로 직접 구성한 학습용 프롬프트다. 첫 단계에서는 분석 가능한 착장 사진인지 판정하고, 통과한 사진에만 두 번째 프롬프트를 적용한다고 가정한다.
역할: 패션 사진 분류 보조자
대상: 사람이 입은 옷이 충분히 보이는 사진 1장
작업: 사진에서 직접 확인되는 정보만 기록
출력 형식:
- 대표색: 한글 색상어 1~2개
- 주요 아이템: 1~3개
- 스타일: 한글 표현 1개
- 근거: 판단에 사용한 시각 단서 한 문장
제한: 보이지 않는 브랜드, 소재, 계절은 추측하지 않음
이 프롬프트는 “스타일을 알려 줘”보다 검증하기 쉽다. 필요한 열이 명시되어 누락을 확인할 수 있고, 근거 문장이 있어 출력이 이미지에 기반했는지 검토할 수 있다. 반면 예시를 너무 강하게 주면 모델이 실제 사진보다 예시 표현을 반복할 수 있으므로, 예시는 형식을 보여 주되 정답을 미리 유도하지 않아야 한다.
강의자료는 시스템 역할, 사용자 지시사항, 반복 제공할 데이터와 생성 매개변수도 출력 품질을 좌우하는 설계 요소로 제시한다. 이때 프롬프트 문장과 생성 매개변수는 구분해야 한다. 전자는 모델에 과업과 맥락을 전달하고, 후자는 출력 생성 방식의 설정을 조정한다. 비교 실험에서는 프롬프트와 설정 중 무엇을 바꾸었는지 기록해야 결과 차이의 원인을 해석할 수 있다.
패션 프로젝트는 세 종류의 변환을 분리해야 한다
강의자료의 실습은 패션 매거진 사진을 모아 패션 트렌드를 분석하고 보고서를 만드는 프로젝트다. 이를 단순한 도구 목록이 아니라 데이터 상태의 변화로 읽으면 다음 세 단계가 선명해진다.
- 위치에서 원자료로:
requests로 RSS를 받고lxml로 XML을 파싱해 이미지 위치를 추출한다. 이때 항목 중복, 빈 주소와 다운로드 실패를 기록한다. - 원자료에서 분석 레코드로: 먼저 사진이 패션 분석에 적합한지 필터링하고, 통과한 이미지만 VLM에 제공해 색상·아이템·스타일과 근거를 일정한 형식으로 받는다.
- 레코드에서 보고서로: LLM으로 VLM 설명에서 한글 색상·스타일 키워드를 추출하고, 정규 표현식으로 필요한 표기만 정제한 뒤 집계한다. 워드 클라우드와 요약 보고서는 빈도 결과와 대표 사례를 바탕으로 작성한다.
각 단계의 출력은 다음 단계의 입력이 된다. 수집 단계에서 사진 주소가 잘못되면 VLM 성능과 무관하게 분석이 실패한다. VLM 출력의 색상 이름이 ‘남색’, ‘네이비’, ‘짙은 파랑’으로 흩어지면 키워드 빈도가 분산된다. 마지막 보고서가 자연스러워도 중간 자료를 검증하지 않으면 오류의 출처를 찾을 수 없다.
중간 결과 네 곳을 검사하면 그럴듯한 오류를 줄일 수 있다
| 검사 지점 | 확인할 증거 | 대표 실패 | 교정 방법 |
|---|---|---|---|
| RSS 수집 뒤 | 항목 수, 이미지 위치, 중복 여부 | 같은 사진을 여러 번 집계한다. | 고유 키와 주소 기준으로 중복을 확인한다. |
| 이미지 필터링 뒤 | 착장 가시성, 해상도, 분석 대상 여부 | 로고·광고·소품 사진을 의류 트렌드에 포함한다. | 통과 기준과 제외 사유를 함께 저장한다. |
| VLM 설명 뒤 | 필수 항목, 이미지 근거, 추측 여부 | 보이지 않는 브랜드나 소재를 단정한다. | 근거 문장을 요구하고 원본과 표본 검수한다. |
| 키워드 집계 전 | 표기 통일, 정규 표현식 결과, 누락값 | 동의어가 서로 다른 유행으로 계산된다. | 정제 전후 값을 남기고 범주 사전을 검토한다. |
자동 생성 보고서는 최종 사실 판정문이 아니라 초기 분석 초안으로 다루는 것이 적절하다. 보고서에 “검은색이 우세하다”는 문장이 있다면 집계표의 빈도, 분석에 포함된 이미지 수와 제외 기준으로 되돌아갈 수 있어야 한다. 자연스러운 문장보다 추적 가능한 근거가 먼저다.
짧은 점검 활동: 보고서의 주장 하나를 고르고, 그 주장이 어떤 키워드 집계에서 나왔는지, 그 키워드는 어떤 VLM 출력에서 나왔는지, 해당 출력은 어떤 원본 이미지와 RSS 항목에서 시작했는지 역순으로 설명해 보자.
핵심 개념 정리
- 비정형 데이터는 정보가 부족한 데이터가 아니라 분석용 열이 미리 고정되지 않은 이미지·영상·음성·텍스트다.
- RSS는 비정형 콘텐츠 자체를 해석하지 않고, 제목·요약·위치 같은 전달 정보를 XML 구조로 제공한다.
- VLM은 이미지 표현과 텍스트 지시를 함께 처리하며, 시각 인코더·투영 계층·토크나이저와 출력 복원 과정이 연결된다.
- 토크나이저는 텍스트를 처리 단위로 나누고 ID로 바꾸지만, 토큰 ID의 크기가 의미나 중요도를 나타내지는 않는다.
- 프롬프트는 역할·과업·맥락·출력 형식·제한을 정하는 분석 규격이며, 결과는 중간 단계별 근거와 함께 검증해야 한다.
새로운 비정형 데이터 과제를 만나면 보고서에서 필요한 비교 항목을 먼저 정하고 → RSS 같은 수집 외피와 실제 콘텐츠를 구분하고 → 모델 입력 표현이 만들어지는 경로를 확인하고 → 프롬프트로 출력 스키마와 추측 제한을 지정하고 → 수집·필터링·설명·집계의 중간 결과를 역추적한다. 이 순서는 풍부하지만 제각각인 콘텐츠를 검토 가능한 분석 근거로 바꾸는 기준이 된다.
예상문제 10선
1. 비정형 데이터의 의미를 가장 정확하게 설명한 것은?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ③
- ① 오답: 이미지와 음성도 수치 표현으로 변환해 처리할 수 있으므로 처리 불가능하다는 뜻이 아니다.
- ② 오답: 픽셀 배열이나 단어 순서가 있어도 분석용 스키마가 고정되어 있지 않을 수 있다.
- ③ 정답: 콘텐츠마다 형태와 길이가 달라 필요한 특징을 별도로 추출해야 한다는 핵심을 담는다.
- ④ 오답: XML은 구조를 표시하는 형식이며 비정형 데이터 전체와 같은 범주가 아니다.
2. 패션 RSS 피드와 그 피드가 연결하는 사진의 관계로 옳은 것은?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ①
- ① 정답: 전달 외피의 구조와 실제 콘텐츠의 분석 역할을 정확히 분리한다.
- ② 오답: 피드는 접근 정보를 제공할 뿐 시각적 특징을 판정하지 않는다.
- ③ 오답: 구조화된 피드가 비정형 사진을 연결하는 혼합 구성이 가능하다.
- ④ 오답: 픽셀 표현 변환은 시각 인코더와 VLM 흐름의 역할이지 RSS의 역할이 아니다.
3. 강의자료의 VLM 도식에서 이미지가 언어 모델이 처리할 표현으로 이어지는 순서로 가장 알맞은 것은?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ④
- ① 오답: 디토크나이저는 모델 출력 단위를 읽을 수 있는 텍스트로 복원하는 출력 쪽 구성이다.
- ② 오답: RSS는 수집 통로이며 텍스트용 토크나이저가 이미지 픽셀을 직접 처리하지 않는다.
- ③ 오답: 언어 출력은 시각 특징을 인코딩하고 모델이 처리한 뒤에 생성된다.
- ④ 정답: 시각 특징을 토큰화하고 투영해 언어 처리 흐름에 연결하는 순서다.
4. “토큰 ID가 900인 단어는 ID가 100인 단어보다 중요하다”라는 해석의 문제점은?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ②
- ① 오답: 텍스트 토큰 ID는 어휘 사전의 항목을 가리키며 이미지 해상도 값이 아니다.
- ② 정답: 번호는 모델 입력을 식별하기 위한 대응값이고 대소 비교로 의미를 판단하지 않는다.
- ③ 오답: 토큰은 서브워드나 문자 수준일 수 있고 실제로 숫자 ID로 변환된다.
- ④ 오답: 피드 발행 순서와 모델의 어휘 ID는 서로 다른 체계다.
5. 여러 패션 사진의 VLM 결과를 색상별로 집계하려 할 때 가장 검증하기 쉬운 프롬프트는?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ④
- ① 오답: 자유 서술은 사진마다 표현이 달라져 색상 열로 비교하기 어렵다.
- ② 오답: 판정 기준이 없으면 같은 사진도 일관된 범주로 기록하기 어렵다.
- ③ 오답: 이미지 근거가 없는 속성을 추가하면 집계의 신뢰성이 낮아진다.
- ④ 정답: 출력 스키마, 개수, 근거와 제한이 있어 누락과 추측을 검사할 수 있다.
6. 프롬프트를 ‘필터링’과 ‘스타일 분석’ 두 단계로 나누는 주된 이유는?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ③
- ① 오답: 단계 분리는 분류 결과를 획일화하려는 것이 아니라 입력 적합성을 관리한다.
- ② 오답: 이미지 다운로드는 수집 단계의 역할이며 토크나이저의 역할이 아니다.
- ③ 정답: 입력 품질을 먼저 판정하면 상세 분석 대상과 오류 원인을 분명히 할 수 있다.
- ④ 오답: XML 파싱과 이미지 분석 단계 분리는 태그 삭제 목적과 다르다.
7. 패션 트렌드 보고서가 만들어지는 데이터 상태의 순서로 가장 타당한 것은?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ①
- ① 정답: 수집 위치에서 원자료, 분석 레코드, 집계용 표현과 보고서로 이어지는 의존관계다.
- ② 오답: 보고서는 앞 단계의 결과를 바탕으로 만드는 마지막 산출물이다.
- ③ 오답: 피드를 수집하고 파싱해야 이미지와 모델 입력을 얻을 수 있다.
- ④ 오답: 워드 클라우드는 키워드를 집계한 뒤 만들 수 있으므로 첫 단계가 될 수 없다.
8. VLM 출력에 ‘남색’, ‘네이비’, ‘짙은 파랑’이 섞여 빈도가 분산되었다. 보고서 작성 전에 가장 적절한 조치는?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ④
- ① 오답: 동의 표현일 수 있으므로 검토 없이 별도 범주로 세면 추세가 왜곡된다.
- ② 오답: 빈도가 작다는 이유는 데이터 삭제의 품질 기준이 아니다.
- ③ 오답: 집계 근거가 보고서를 뒷받침해야 하며 결론에 맞춰 데이터를 바꾸면 안 된다.
- ④ 정답: 정제 전후 값을 남기며 범주를 통일해야 재현 가능한 빈도를 얻는다.
9. 자동 보고서에 “검은색이 이번 시즌의 절대적 유행이다”라고 적혀 있다. 가장 먼저 확인할 것은?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ②
- ① 오답: 문장 유창성은 데이터 근거와 일반화 범위의 타당성을 보증하지 않는다.
- ② 정답: 표본과 집계 근거를 확인해야 제한된 자료를 전체 유행으로 과장했는지 판정할 수 있다.
- ③ 오답: 토큰 ID의 크기는 색상 빈도나 중요도를 나타내지 않는다.
- ④ 오답: 한 항목의 제목만으로 전체 사진 집합의 색상 경향을 판단할 수 없다.
10. 새로운 이미지 기반 트렌드 분석을 설계할 때 가장 타당한 의사결정 흐름은?
정답입니다.
오답입니다. 답안을 다시 선택해 보세요.
정답 및 해설 보기
정답: ①
- ① 정답: 분석 목적, 표현 변환, 출력 일관성과 근거 추적을 순서대로 확보한다.
- ② 오답: 분석 기준을 나중에 정하면 수집과 출력이 비교 목적에 맞지 않을 수 있다.
- ③ 오답: 피드 요약과 이미지 특징은 다른 자료이며 중간 결과를 지우면 오류를 추적할 수 없다.
- ④ 오답: 변하는 형식과 정제되지 않은 동의어는 집계를 흔들고 무검수 보고는 근거 오류를 남긴다.
참고 자료와 작성 기준
이 글은 해당 차시 강의자료를 바탕으로 학습 목적에 맞게 재구성한 비공식 학습자료입니다. 정보 변환 지도, 패션 분석용 프롬프트 예시와 문제 해설은 학습자의 이해를 돕도록 구성하고 검토했습니다.
- 작성·편집: 올에이클래스 학습연구팀
- 주요 근거: 한국방송통신대학교 컴퓨터과학과, 「오픈소스 기반 데이터분석」 14강 ‘비정형 데이터 분석’ 강의자료(PDF 생성 정보: 2025년)
- 편집 원칙: 올에이클래스 편집 정책
- 최종 내용 검토: 2026-08-30
댓글
댓글 쓰기