TPU (Tensor Processing Unit)

I. 인공신경망 맞춤형 ASIC, TPU

가. TPU(Tensor Processing Unit)의 개념

• 인공신경망 데이터 고속처리를 위한 맞춤형 ASIC 기반 인공신경망 데이터 처리 전용 하드웨어

나. TPU 부각 배경

• 2006년 맞춤형 H/W(ASIC, FPGA, GPU) 실행 프로그램 제한
• 2013년 인공신경망 패러다임은 계산요구량 / 필요성능 증가
• 이러한 요구 충족을 위한 GPU 증설은 과다 비용 발생

II. TPU 구성도 및 핵심 유닛(MMU) 처리 절차

가. TPU 구성도

• Weighted FIFO의 가중치와 Unified Buffer의 활성화를 통해 MMU에서 신경망 연산 수행

나. TPU의 핵심 MMU(Matrix Multiply Unit) 처리 절차도

• 8bit 정수 곱셈 및 덧셈 수행 256 x 256 MAC 사용

III. TPU 기반 클라우드 서비스

• TPUv2 프로세서는 코어당 128 x 128 MXU(Mixed Multiply Unit)및 8GB HBM 메모리의 듀얼 코어로 구성
• 노드당 4개 프로세서 x 64개 노드로 11PFLOPS, 4TB HBM의 클라우드 시스템 구축 및 서비스