유니코드 (Unicode)

1. 전 세계 문자 인코딩 표준, 유니코드 (Unicode)의 개요

코드표 샘플
개념	전 세계 문자를 고유 코드포인트에 맵핑하고 UTF-8 등으로 가변 인코딩하는 문자 인코딩 표준
필요성	다국어 동시 표현	– 하나의 웹페이지나 DB 내 한국어, 영어, 중국어, 아랍어 등 다국어와 이모지(Emoji)까지 인코딩 전환 없이 동시 표현 가능
	플랫폼 호환성 확보	– 플랫폼별 문자 코드 해석 차이로 인한 데이터 왜곡 현상 근본 해결 – 모든 시스템이 고유 코드포인트로 소통하므로 데이터 무결성 유지
	코드 표준화로 개발비용 절감	– 웹 표준(HTML5), JSON, XML 등 대부분 유니코드(UTF-8) 기본 채택 – 국가별 문자열 변환 로직 구현 불필요, 개발 및 데이터 교환 효율성 향상

• 유니코드는 전 세계 모든 문자에 대해 플랫폼, 프로그램, 언어에 관계 없이 일관되게 사용하도록 설계된 산업 표준으로, 유니코드 컨소시엄에서 제정, ISO 10646 문자 집합, 인코딩 방법, 문자 정보 DB, 알고리즘 등 포함
• UTF (Unicode Transformation Format): 유니코드 변환 형식 (UTF-8, UTF-16, UTF-32 등)

2. 유니코드의 핵심 요소 및 ASCII 코드와 비교

(1) 유니코드의 핵심 요소

(2) ASCII 코드와 유니코드 비교

• 유니코드는 ASCII 코드 전체를 포함하며, OS(Windows, Mac, Linux), 디바이스, DB마다 문자 코드를 다르게 해석해 텍스트가 외계어처럼 변하던 데이터 왜곡(Mojibake) 현상을 근본적으로 해결

3. 유니코드 인코딩 절차, 변환표 및 인코딩 사례

(1) 유니코드 인코딩 절차

(2) 유니코드 변환표

• 코드 포인트 → 코드 유닛 시퀀스 변환표(UTF-8 기준, U+uvwxyz)

(3) 유니코드 인코딩 사례

① 추상 문자

② 코드 포인트로 변환

• 코드 포인트 테이블 참조: https://www.unicode.org/charts/

③ 코드 유닛 시퀀스로 변환

• 3 byte 변환표 적용: 1110wwww 10xxxxyy 10yyzzzz

④ 바이트 시퀀스로 변환

• UTF-8은 BOM (Byte Order Mark) 구분이 불필요하므로 그대로 적용

⑤ 최종 이진 데이터

• 바이트 시퀀스를 순차 나열

• 최근 유니코드는 전 세계 웹페이지의 대부분을 점유하며 문자 인코딩 표준을 선도하고 있으며, 문자 데이터의 저장부터 전송, 사용과 AI 오케스트레이션까지 디지털 표현의 핵심축으로 진화중
• 특히 현재 많은 대규모 언어 모델(LLM)이 영문 대비 한글, 한자, 아랍어 등의 유니코드 가변 바이트 문자를 처리할 때 더 많은 토큰을 소비하여 비용 왜곡이 발생하고 있어 문자열의 의미론적 단위의 바이트 연산 효율성을 고려하는 방향으로 고도화 필요

 
[참고]

• Unicode Consortium, The Unicode Standard Core Specification Version 17.0, 2025.9