INT8 đủ trưởng thành để trông có vẻ đơn giản: chọn range, ánh xạ floating-point vào 256 level rồi để accelerator chạy nhanh hơn. Hầu hết deployment thất bại ở những chi tiết bị câu đó che đi.
Range điều khiển hai loại sai số
Với affine quantization:
xq = clip(round(sx + z), −128, 127)
x̂ = (xq − z) / s
Range quá rộng tránh clipping nhưng dành quá nhiều code cho vùng ít xuất hiện. Range hẹp cho common value độ phân giải tốt hơn nhưng cắt tail. Calibration bằng max, entropy hoặc percentile là cách quyết định điểm đánh đổi này từ dữ liệu đại diện.
Không có calibration method tốt nhất cho mọi architecture. Histogram chỉ có ý nghĩa nếu sample giống production preprocessing, lighting, prompt, sensor state và failure case.
Weight và activation cần cách xử lý khác nhau
Weight cố định và thường có thể dùng scale per-channel. Activation thay đổi theo input nên thường bắt đầu bằng per-tensor scale đã calibration; per-token linh hoạt hơn nhưng thêm runtime work.
| Thành phần | Lựa chọn khởi đầu |
|---|---|
| Conv / Linear weight | Symmetric INT8, per-channel hoặc per-column |
| Activation | Symmetric INT8, per-tensor, đã calibration |
| Phép toán nhạy số | FP16/BF16 |
| Action projection cuối | Giữ FP16 trước |
PTQ trước QAT
Workflow hợp lý là:
- Xây FP16/BF16 baseline trên đúng thiết bị.
- Chạy PTQ với calibration data đại diện.
- Đo layer-wise drift và end-to-end output.
- Giữ một số layer nhạy cảm ở floating point.
- Chỉ dùng QAT nếu mixed precision/PTQ vẫn không đạt quality gate.
QAT tốn data, compute và thời gian huấn luyện. Nó không nên là phản xạ đầu tiên khi một layer đơn lẻ gây regression.
Edge robotics cần evaluation chặt hơn
Accuracy offline không đủ. Quantization có thể làm action jitter tăng dù average error nhỏ, làm confidence calibration lệch hoặc thay đổi rare recovery behavior. Hãy đo latency P50/P99, memory, power, thermal throttling, action error, success rate và safety event.
INT8 là một workflow thực nghiệm. Dtype chỉ là điểm bắt đầu; calibration distribution, granularity, operator coverage và regression gate mới quyết định deployment thành công.