1. AI 데이터센터 (AI DC, AI Datacenter)의 개요 (1) AI 데이터센터의 개념 학습, 배포, 추론 등 AI 특화 서비스 제공을 위해 GPU 등 AI 가속기 중심의 초고밀도 병렬 연산과 고대역폭/초저지연 패브릭, 액체 냉각 시스템 등 고성능 IT 인프라 기반 설비를 갖춘 데이터센터 (2) 일반 데이터센터와 AI 데이터센터의 비교 비교 항목 일반 데이터센터 AI 데이터센터 핵심
1. 비휘발성 HBM, HBF (High Bandwidth Flash)의 개요 개념 특징 HBM 용량 및 휘발성 한계 극복 위해 3D 스택형 낸드플래시를 TSV, 로직 다이, CBA 기반 병렬 연결하는 고대역폭 비휘발성 메모리 기술 – 고대역폭 낸드플래시 – HBM 대비 초대용량 – AI 추론 특화 메모리 – 비휘발성 고속 백엔드 낸드 특성상 DRAM/HBM 대비 8~16배 이상 큰 용량을
1. 메모리 중심 컴퓨팅 (Memory-Centric Computing) 개요 개념 대용량 데이터 고속/저지연 처리를 위해 RoCE, HBM 등 메모리 반도체가 패브릭 연결망 통해 저장, 연산 역할을 담당하는 차세대 컴퓨팅 아키텍처 필요성 현대 컴퓨팅 패러다임은 인공지능 서비스 등 대용량 데이터 처리가 필요한 컴퓨팅으로 변화되고 있어, RoCE, HBM, CXL 등 메모리 용량 및 대역폭 한계를 극복하는 메모리 중심 컴퓨팅
1. PIM (Processing-in-Memory)의 개요 (1) PIM의 개념 및 필요성 개념 필요성 CPU-메모리 병목으로 인한 작업 처리 성능 저하 극복 위해 메모리 칩 내 연산기를 배치하여 데이터 이동 최소화 기반 작업 처리 성능을 향상시키는 메모리 반도체 – 폰노이만 아키텍처 한계 극복 – 인공지능, 빅데이터 실시간 처리 – 데이터 병목 현상 최소화 – 메모리 내 연산으로 성능
1. DRAM 적층형 고성능 메모리, HBM의 개요 (1) HBM의 부각 배경 인공지능, 자율주행, 스마트 서비스 등 신기술 확산으로 대량 데이터 처리용 고성능 연산 수요 촉발 ChatGPT 등 초거대 인공지능 경쟁의 본격화로 고용량 데이터 처리에 최적화된 메모리 반도체 필요 폰노이만 컴퓨팅 구조의 데이터 이동 병목 현상 한계 해소, 저전력, 고속 연산 가능한 HBM 부각 (2) HBM(High