LLM / SYSTEMS

타일을 순회하며 출력 완성하기

본문으로 돌아가기

FlashAttention-2 순전파 기준입니다. 단계 구분은 설명을 위한 것이며 실제 커널의 명령 순서를 고정하지 않습니다.

왼쪽 Q 두 행, 위쪽 K 네 벡터, 아래쪽 V 네 벡터, 오른쪽 출력 누적 벡터를 배치한다. K와 V는 토큰을 가로로 나열한 전치 배치다. 중앙에는 현재 2×2 타일의 점수 또는 정규화 전 exp 값만 표시한다. Q와 출력 위치를 고정하고 두 K/V 타일을 순회한다. 중앙의 전체 격자는 처리 위치 지도이며 전체 점수 행렬을 저장하지 않는다. 스케일링과 마스크를 생략한 교육용 계산이다. 현재 단계: 입력과 출력의 위치

현재 단계 SVG현재 단계 PNG · 2400 px대표 장면 PNG

그림을 누르면 원본으로 확대됩니다. 단계 선택에 초점을 두고 방향키로 이동할 수 있습니다.