HỌC CÔNG KHAI · NHẬT KÝ KỸ THUẬT
Nghiên cứu,
đưa vào thực tế.
Ghi chú nghiên cứu được viết lại thành các bài tiếng Việt hướng thực hành, cùng những điều tra trực tiếp về edge AI, VLA, hiệu năng inference và hệ thống production.
LỘ TRÌNH ĐỌC ĐỀ XUẤT
Đi theo cách các ý tưởng phát triển.Nền tảng→Quantization→Triển khai
Quantization là một quyết định hệ thống
Hướng dẫn thực hành về INT8, INT4, FP8, NVFP4 và cách đo xem precision thấp hơn có thực sự tốt hơn hay không.
Attention dưới góc nhìn edge
Shape flow của Transformer, vì sao training song song được và nơi autoregressive inference trở thành bài toán memory cùng latency.
INT8 không dựa vào kinh nghiệm truyền miệng
Range mapping, calibration, partial quantization và workflow production cho mô hình edge cần giữ accuracy.
SmoothQuant: chuyển phần khó sang offline
Vì sao activation outlier phá W8A8 ngây thơ và equivalent scaling khôi phục đường INT8 hiệu quả.
GPTQ: quantize bằng thông tin bậc hai
Hessian-aware error compensation, lazy update và Cholesky giúp quantization LLM 3–4 bit trở nên thực tế như thế nào.
AWQ: bảo vệ điều activation tiết lộ
Giải thích kỹ thuật về salient channel, INT4 weight-only quantization và vì sao runtime quan trọng.
LUT-GEMM: weight low-bit không cần tái dựng
Binary-coded weight trở thành lookup-table index như thế nào—và khi nào điều đó thực sự giảm decode latency.
SpinQuant: xoay trước khi làm tròn
Learned rotation giảm activation outlier và làm W4A4KV4 ít phá hủy hơn naive low-bit quantization như thế nào.
ParoQuant: pairwise rotation sống được trong deployment
Từ learned Givens rotation đến pipeline TensorRT INT4—và thí nghiệm reduced-calibration của mình thực sự chứng minh điều gì.
VLA-Perf: cách suy nghĩ về inference của VLA
Bản đồ thực hành về compute, memory, network và action-generation bottleneck trong hệ Vision-Language-Action.
TensorRT Edge-LLM: bốn bản sửa từ thí nghiệm có kiểm soát
Cách mình tách lỗi compiler fusion, AWQ repacking mất mát và export InternVL3 âm thầm—rồi xác minh từng bản sửa trên NVIDIA edge hardware.