타깃 모델

이 섹션은 실제 Transformer 모델이 pccx v002 위에서 어떻게 매핑되는지 를 문서화합니다. 구체적으로 하드웨어 관점에서 중요한 구조적 선택, 반드시 존중해야 하는 비표준 수치 트릭, 그리고 연산자 그래프가 다섯 개의 pccx 명령어 (GEMV, GEMM, MEMCPY, MEMSET, CVO) 로 어떻게 분해되는지를 다룹니다.

주 참조 모델은 Google Gemma 3N E4B 입니다. 이 모델이 GEMV 코어 수, KV 캐시 예산, SFU 함수 목록의 크기 기준을 정하는 데 사용되었습니다.

Gemma 3N E4B

• Gemma 3N E4B — 개요
  • 1. 모델 차원
  • 2. Gemma 3N 만의 비표준 요소
  • 3. 레이어 간 KV 공유
  • 4. 데이터 타입 맵
  • 5. 다음 단계
• Gemma 3N E4B — 연산자 수준 파이프라인
  • 0. 핵심 함수 정의
  • 1. 토큰 임베딩
  • 2. AltUp 초기 Projection
  • 3. PLE 사전 계산
  • 4. Transformer 레이어 (×35)
  • 5. Decode Logits
  • 6. 생성 및 샘플링
• Gemma 3N — Attention 및 RoPE 제약
  • 1. Attention Scaling 과 Softcap 완전 제거
  • 2. 레이어 교차 동적 θ RoPE
  • 3. 전체 TPS 기여
• Gemma 3N — LAuReL 과 PLE Calibration 모듈
  • 1. LAuReL: Attention 병렬 보정
  • 2. PLE (Per-Layer Embedding): Shadow-Stream 주입
  • 3. 왜 중요한가
• Gemma 3N — FFN Gaussian Top-K Sparsity
  • 1. 규칙
  • 2. 이 방식을 채택한 이유
  • 3. 파이프라인 관점
  • 4. pccx v002 매핑
  • 5. 처리량 영향
• Gemma 3N E4B 를 pccx v002 에서 실행 — Execution / Scheduling
  • 1. 정상 동작 시 메모리 레이아웃
  • 2. 호스트 설정 (모델 로드 시 1 회)
  • 3. 토큰당 디코드 흐름
  • 4. KV 캐시 관리
  • 5. 에러 / 완료 처리
  • 6. 성능 예산 (목표)

참고

이 파이프라인을 구동하는 호스트 측 애플리케이션은 FPGA 레포의 서브모듈 sw/gemma3NE4B/ → hkimw/llm-lite 에 위치한다. 검증용 골든 CPU 레퍼런스이자 xsim 테스트벤치 스위트의 stimulus 생성기 역할을 함께 한다.