[컴퓨터시스템응용기술사 제140회 1교시 1번]

답안 구조

1. 페이지드 어텐션 개요
2. KV 캐시의 문제점
3. 페이지드 어텐션 작동 원리
4. 장점 및 효과
5. 적용 사례 및 시사점

용어 정의

페이지드 어텐션

대규모 언어 모델(LLM) 추론 시 KV 캐시 메모리 관리를 최적화하여 GPU 메모리 단편화를 줄이고 활용 효율을 높이는 기술

KV 캐시

LLM의 어텐션 메커니즘에서 이전 토큰들의 Key와 Value 벡터를 저장하여 반복 계산을 피하고 추론 속도를 높이는 캐시 메모리

메모리 단편화

메모리가 작은 조각들로 나뉘어 연속적인 할당이 어려워지고, 실제 사용 가능한 메모리가 충분함에도 불구하고 큰 블록을 할당할 수 없게 되는 현상

가상 페이징

운영체제의 메모리 관리 기법에서 영감을 받아, 물리 메모리를 페이지 단위로 관리하고 가상 주소를 통해 접근하여 효율성을 높이는 방식

핵심 내용