이번 주제는 트랜스포머의 핵심인 어텐션(Attention) 알고리즘이에요

HuggingFace가 PyTorch 프로파일링 시리즈 3편을 공개했어요. 이번 주제는 트랜스포머의 핵심인 어텐션(Attention) 알고리즘이에요.

어텐션은 입력 길이가 길어질수록 연산량이 제곱으로 늘어나는 2차 시간 복잡도로 악명 높거든요. 이 글에서는 나이브 구현부터 인플레이스 연산, SDPA, FlashAttention 커널까지 4가지 방식을 NVIDIA A100 GPU에서 직접 돌리고 프로파일러 트레이스로 비교해요.

같은 어텐션이라도 구현 방식에 따라 프로파일러에서 완전히 다른 모양이 나온다는 게 핵심이에요. 최적화 전후를 눈으로 확인하고 싶다면 이 시리즈가 좋은 출발점이에요.