🗄️ Ⅱ. 데이터

1) 왜 압축이 필요할까?

데이터를 저장·전송하는 데는 공간과 시간, 그리고 전기가 든다. 전 세계 데이터 센터가 배출하는 이산화탄소량은 2002년 약 7,600만 톤에서 2020년 약 2억 5,900만 톤으로 급증했다 — 우리가 무심코 쓰는 데이터가 실제로 기후 변화에 영향을 준다는 뜻이다. 압축은 이 문제를 줄이는 가장 직접적인 방법이다.

• 저장 공간을 줄인다 — 같은 서버에 더 많은 정보를 담을 수 있다.
• 전송 시간을 줄인다 — 스트리밍·업로드가 빨라진다.
• 보안에도 도움이 된다 — 압축된 데이터는 그대로 봐서는 해독하기 어렵다.
• 비용과 전력을 줄여 환경적으로도 이득이다.

💡 잠깐, 그 전에 — 데이터는 결국 2진수다

압축이든 암호화든, 컴퓨터가 다루는 모든 데이터는 결국 0과 1(2진수)로 저장돼 있다. 다만 2진수는 자릿수가 너무 길어서 사람이 읽기 불편하니, 같은 비트를 3개씩 묶어 8진수로, 4개씩 묶어 16진수로 줄여 쓰기도 한다. 묶는 방법만 다를 뿐 같은 데이터이므로, 10진수로 환산한 값은 셋 다 똑같다 — 아래에서 버튼을 눌러 직접 확인해 보자.

2) 무손실 압축 — 원본을 그대로 복원

0과 1의 나열을 손실 없이 더 짧게 표현했다가, 필요할 때 원본과 똑같이 되돌리는 방식이다. 텍스트 파일, 은행 기록처럼 한 글자도 틀리면 안 되는 데이터에 적합하다.

① 런 길이 부호화 (Run Length Encoding)

같은 문자가 몇 번 반복되는지를 기록해 데이터를 짧게 만드는 방식. 단색이 많은 아이콘·로고(BMP 파일 등)에는 효율적이지만, 색이 다양한 사진에는 잘 맞지 않는다.

② 사전 압축과 허프만 부호화

압축할 데이터: 문자열 AAADDBOOOO(총 10글자). 컴퓨터에서 한 글자를 8비트(1바이트)로 저장한다고 하면, 압축하기 전 원본 크기는 10글자 × 8비트 = 80비트(10바이트)다. 이 80비트를 어디까지 줄일 수 있는지, 쉬운 방법부터 차근차근 따라가 보자.

1️⃣ 가장 단순한 방법 — 사전 압축(등장 순서대로 번호 붙이기)

문자열에 등장하는 문자를 나온 순서대로 A→D→B→O로 정리하고, 모두 똑같은 길이(3비트)의 번호를 매긴다. (3비트면 000~111, 즉 최대 8종류의 문자를 구분할 수 있다.)

문자 10개를 전부 3비트로 바꾸면 10 × 3 = 30비트. 압축비는 80 ÷ 30 ≒ 2.67 (37.5%)이다.

2️⃣ 더 똑똑한 방법 — 허프만 부호화(자주 나올수록 짧게)

허프만 부호화(Huffman coding)의 핵심 아이디어는 단 하나다 — 자주 등장하는 문자에는 짧은 부호를, 드물게 등장하는 문자에는 긴 부호를 준다. 5단계를 하나씩 직접 따라가며 트리를 완성해 보자.

[1단계] 문자별 등장 빈도 세기

빈도가 높은 순서(내림차순)로 미리 정렬해 두었다.

[2단계] 가장 작은 두 값을 하나로 묶는다

지금 가장 작은 두 값은 D(2)와 B(1)이다. 둘을 묶어 합계 3짜리 새 노드를 만들고, 먼저 나열된 쪽(D)에 0, 나중 쪽(B)에 1을 붙인다.

[3단계] 다시 가장 작은 두 값을 찾아 묶는다

이제 후보는 O(4), A(3), 방금 만든 노드(3) — 세 개다. 가장 작은 두 값은 A(3)와 노드(3)인데, 값이 같으면 정렬 순서가 앞선 쪽을 먼저 처리하므로 A와 [D,B]노드를 묶는다. 합계는 6이고, A에 0, [D,B]노드에 1을 붙인다.

[4단계] 마지막 두 값을 묶어 트리를 완성한다

이제 남은 건 O(4)와 방금 만든 노드(6)뿐이다. 이 둘을 묶으면 전체 합계 10인 맨 위(뿌리, root)가 완성된다. 노드(6)에 0, O에 1을 붙인다.

[5단계] 뿌리부터 각 문자까지 경로를 이어붙여 부호 완성

뿌리에서 출발해 그 문자에 도착할 때까지 지나온 0과 1을 순서대로 이어붙이면, 그것이 그 문자의 부호가 된다.

데이터 변환하기 — 최종 압축 결과

문자열 AAADDBOOOO를 완성된 부호표(O=1, A=00, D=010, B=011)에 따라 한 글자씩 바꿔서 이어붙이면 다음과 같다.

원본 80비트가 19비트로 줄었다. 압축비는 80 ÷ 19 ≒ 4.21 (23.8%)이다.

3️⃣ 두 방법 비교 — 왜 허프만이 더 효율적일까?

📌 참고 — 허프만 부호화 뒤에는 클로드 섀넌이 있다
방금 "자주 나오는 문자에는 짧은 부호를, 드물게 나오는 문자에는 긴 부호를 주면 유리하다"는 걸 직접 확인했다. 이 아이디어를 수학적으로 처음 증명한 사람이 클로드 섀넌(Claude Shannon, 1916~2001)이다. '정보이론(Information Theory)의 아버지'로 불리는 미국의 공학자·수학자로, 비트(bit)라는 단위 자체를 세상에 알린 사람이기도 하다.

• 1948년 논문에서 정보량(엔트로피)을 확률로 정의했다 — 예측하기 쉬운(자주 등장하는) 것일수록 정보량이 작다. 허프만 부호화가 자주 나오는 문자에 짧은 부호를 주는 것은 바로 이 원리를 그대로 따른 것이다.
• 1937년 석사 논문에서는 불 대수(참/거짓 논리)를 전기 스위치 회로로 구현할 수 있음을 증명했다 — 오늘날 모든 디지털 회로·컴퓨터가 0과 1로 동작하는 이론적 뿌리다.
• 1949년에는 OTP(일회용 암호)가 이론적으로 절대 뚫리지 않는 "완전 비밀성(perfect secrecy)"을 만족함을 증명했다 — 뒤에 나올 대칭 암호화 단원의 OTP와 연결된다.
• 요즘 많이 쓰는 AI 챗봇 Claude(클로드)도 바로 이 섀넌에게 헌정하는 의미로 붙인 이름이다 — AI 역시 결국 '정보'를 다루는 기술이기 때문이다.

사진: Tekniska museet(스웨덴 국립기술박물관), Wikimedia Commons · CC BY 2.0

3) 손실 압축 — 사람이 눈치채기 힘든 부분만 버린다

이미지·영상·소리처럼 사람의 눈과 귀가 완벽히 구분하지 못하는 영역의 정보는 과감히 버려서 용량을 획기적으로 줄이는 방식이다. 압축 해제한 데이터는 원본과 정확히 같지 않지만, 체감 품질 차이는 크지 않다.

① JPEG — 이미지 압축

사람 눈은 색보다 밝기 차이를 더 잘 인식한다는 성질을 이용해, R·G·B 값을 그대로 저장하지 않고 휘도(밝기)와 색 차이 정보 위주로 압축한다. 이미지를 8×8 픽셀 블록으로 나눠 처리한다.

② MPEG — 영상 압축

영상은 JPEG로 압축한 이미지(프레임)가 여러 장 이어진 것이다. MPEG는 연속된 프레임의 유사성을 이용해, 이전 프레임과 달라진 부분만 저장한다 — 배경이 그대로인 장면일수록 압축 효율이 크게 오른다.

③ 소리의 표본화 · 양자화 · 부호화

아날로그 소리를 표본화 → 양자화 → 부호화 순서로 바꿔 디지털 데이터로 만드는 이 과정 전체를 PCM 변환(Pulse Code Modulation)이라 부른다.

• 표본화: 아날로그 신호를 일정한 시간 간격으로 측정한다.
• 양자화: 측정값을 정해진 단계 중 가장 가까운 값으로 반올림한다 — 이때 실젯값과 차이(양자화 오차)가 생긴다.
• 부호화: 변환된 값을 0과 1의 비트로 표현한다.

예시 — 사람 목소리를 PCM으로 바꾸면?

전화 통화를 예로, 실제 숫자를 따라가며 목소리가 디지털 데이터가 되는 과정을 확인해 보자.

1. 목소리의 주파수 범위 확인 — 사람 음성이 알아듣기에 충분한 핵심 대역은 약 300Hz~3,400Hz(전화 음성 대역)다. 최고 주파수를 대략 4kHz로 본다.
2. 표본화 — 나이퀴스트율 적용 — 4kHz까지 왜곡(앨리어싱) 없이 담으려면 나이퀴스트율(2 × 4kHz = 8kHz) 이상으로 표본화해야 한다. 그래서 유선전화·인터넷전화(VoIP)는 실제로 초당 8,000번(8kHz) 목소리를 측정한다.
3. 양자화 — 측정한 값을 256단계(8비트)로 반올림한다. (국제표준 통화 코덱 G.711의 방식)
4. 부호화 — 표본 하나하나를 8비트 이진수로 표현한다.

④ MP3 — 사람이 못 듣는 소리는 지운다

MP3(MPEG-1 Audio Layer III)는 표본화·양자화·부호화를 거쳐 만들어진 디지털 음원(PCM)을 한 번 더 압축하는 손실 압축 방식이다. 핵심 아이디어는 "사람 귀가 애초에 듣지 못하는 소리는 저장할 필요가 없다"는 심리음향(psychoacoustic) 모델이다.

• 가청 주파수 한계: 사람은 대략 20Hz~20,000Hz의 소리만 들을 수 있다 — 이 범위 밖 정보는 처음부터 버린다.
• 주파수 마스킹(동시 마스킹): 큰 소리 옆에 있는 작은 소리는 묻혀서 안 들린다. 예를 들어 시끄러운 콘서트장에서 옆 사람의 속삭임이 안 들리는 것과 같은 원리다.
• 시간 마스킹: 아주 큰 소리가 난 직후 아주 짧은 순간에는, 원래 들렸을 작은 소리도 잠깐 안 들린다.

MP3는 이렇게 ① 소리를 여러 주파수 대역으로 나누고 ② 심리음향 모델로 어느 대역이 들리는지/안 들리는지 분석해 ③ 잘 들리는 대역엔 비트를 많이, 안 들리는 대역엔 비트를 적게(또는 아예 0을) 할당한 뒤 ④ 남은 값을 양자화·부호화한다. 이 과정을 거치면 원본 CD 음원(약 1,411kbps)을 1/10 수준(128kbps)까지 줄이면서도 사람 귀에는 거의 같은 소리로 들린다.

1) 암호화의 기본 개념

• 암호화(encryption): 원본 데이터(평문)를 읽기 어려운 형태(암호문)로 바꾸는 과정.
• 복호화(decryption): 암호문을 다시 평문으로 되돌리는 과정.
• 암호키(encryption key): 암호화·복호화에 필요한 규칙.

2) 치환형 암호화 — 카이사르 암호

평문의 각 문자를 약속된 다른 문자로 치환하는 방법이다. 로마 황제 율리우스 카이사르가 전쟁 중 군사 정보를 전달하기 위해 고안했다고 전해져 카이사르 암호라 불린다. 알파벳을 정해진 칸수(키)만큼 밀어서 치환하고, 복호화할 때는 반대 방향으로 밀어 되돌린다.

고대에는 문자의 순서를 재배치하는 전치형 암호화도 쓰였다. 그리스 군사들이 사용한 스키테일(scytale)이 대표적인 예로, 정해진 지름의 막대에 종이를 감아 글을 쓰면 풀었을 때 문자가 뒤섞여 보인다 — 같은 지름의 막대를 가진 사람만 다시 감아 해독할 수 있다.

실제 스키테일 복제품 — 막대에 가죽 끈을 나선으로 감고 글자를 새겨 넣었다. 풀면 글자 순서가 뒤섞이고, 같은 굵기의 막대에 다시 감아야만 원래 순서로 읽힌다.

스키테일 암호 — 문자를 바꾸지 않고 순서만 재배치하는 전치형 암호화

3) 지금 우리가 쓰는 암호화 — 단방향 / 대칭 / 비대칭

① 단방향 암호화

암호화는 되지만 복호화는 불가능한 방식. 같은 평문은 항상 같은 암호문(해시값)을 만들고, 한 글자만 달라져도 완전히 다른 결과가 나온다. 그래서 원문을 노출하지 않고도 일치 여부만 비교할 수 있어 비밀번호 저장, 파일 위·변조 확인, QR코드 신원 인증 등에 쓰인다. 대표 알고리즘은 SHA-256.

② 대칭 암호화 (비밀키)

송신자와 수신자가 같은 키로 암호화·복호화하는 양방향 방식. 속도가 빠르지만, 사용자마다 키를 개별적으로 안전하게 전달해야 하는 키 배송 문제가 있다 — 사용자가 10만 명이면 키도 10만 개를 관리해야 한다. 인터넷·모바일 뱅킹의 OTP와 보안카드가 대표 사례다.

③ 비대칭 암호화 (공개키 · 개인키)

대칭 암호화의 키 배송 문제를 해결하기 위해 등장했다. 송수신자가 서로 다른 키 쌍(공개키·개인키)을 가지며, 한쪽 키로 암호화한 것은 반드시 짝을 이루는 다른 키로만 풀 수 있다. 처리 속도는 느리지만 키를 안전하게 교환할 필요가 없다. 전자 서명, 공동(공인) 인증서가 대표 사례다.

1) 빅데이터의 3V

빅데이터는 기존 방식으로는 처리하기 어려운 막대한 양의 데이터셋(또는 그 처리 기술)을 말하며, 세 가지 특징 3V로 요약된다.

• 양(Volume): 데이터 집합의 크기가 테라바이트(TB, 10¹²byte)에서 페타바이트(PB, 10¹⁵byte)에 이른다.
• 속도(Velocity): 센서·인터넷·모바일 등 다양한 곳에서 빠르게 생성·수집된다.
• 다양성(Variety): 데이터베이스 같은 정형 데이터부터 이메일·SNS 게시물 같은 비정형 데이터까지 형태가 다양하다.

2) 내게 필요한 데이터는 어떻게 모을까?

1) 데이터 전처리 — 분석 전 손질하기

데이터 전처리는 원시 데이터를 원하는 형식으로 다듬는 작업이다. 적절히 전처리하면 분석과 기계학습의 정확도·신뢰도가 올라간다.

2) 데이터 시각화 — 숫자를 그림으로

데이터 시각화는 수치·통계 데이터를 그래픽으로 표현해 분석 결과를 직관적으로 이해하기 쉽게 만드는 기술이다. 데이터 형태에 따라 알맞은 시각화 방법이 다르다.

정형 데이터(수치·문자·날짜·지리)는 표·그래프로, 비정형 데이터(이미지·텍스트·소리)는 이미지 뷰어·워드 클라우드처럼 형태에 맞는 방법으로 시각화한다.

🎯 이 단원의 핵심 질문

• 데이터를 효율적으로 관리하고 보호하는 방법은? → 압축과 암호화
• 빅데이터를 목적에 맞게 처리하여 분석하는 방법은? → 수집 → 전처리 → 시각화

🧭 진로 이야기 — 데이터 마이너

광산에서 광물을 캐내는 광부처럼, 방대한 데이터에서 의미 있는 정보를 찾아내는 직업이 데이터 마이너(data miner)다. 쇼핑몰 구매 기록, 검색 기록, SNS 데이터 같은 빅데이터를 분석해 미래에 도움이 될 정보를 만든다. 통계·프로그래밍에 대한 이해와, 세상을 바라보는 안목(도메인 지식)이 함께 필요한 직업이다.

📋 한눈에 정리

✔️ 역량 체크