模型压缩概念

Author: xiaoping378

content/docs/7-AI/扫盲篇.md

@@ -15,7 +15,11 @@
   - **Transformer 模型**: GPT的核心，是一种神经网络架构，它使用了自注意力机制（self-attention）来处理序列数据，并使用了多头自注意力（multi-head self-attention）来提高模型的性能。
   - **Pre-trained (预训练)**: 在无标注通用数据（如Common Crawl）上训练出基础模型，从已知找规律（优化损失函数）学习语言规律和世界知识，预测产出未知。需从头构建模型，通常需要超万亿token的庞大数据集和数万张高性能GPU（如H100/A100）组成的算力集群。
   - **Fine-tuning (微调)**: 在预训练模型基础上，用于特定领域数据（如金融客服、辅助编码）调整参数，使模型更适应垂直场景的推理。通常仅需调整少量参数（如使用LoRA技术调整0.1%-1%的参数），显存需求可降低至预训练的10%-20%。
-  - **蒸馏**: 将大型复杂模型（教师模型）在有限损失的情况下知识转移到更小型、高效模型（学生模型）中, 这样做的好处包括降低计算成本、减少推理时间，同时保持高性能，适合资源受限环境的部署。
+  - **模型压缩**: 模型压缩技术，如量化、剪枝、知识蒸馏等，可以减少模型的参数数量，从而降低显存需求。
+    - **知识蒸馏**: 将大型复杂模型（教师模型）在有限损失的情况下知识转移到更小型、高效模型（学生模型）中, 这样做的好处包括降低计算成本、减少推理时间，同时保持高性能，适合资源受限环境的部署。
+    - **模型量化**: 模型量化是指将模型参数从浮点数转换为整数或低精度数据类型，以减少存储和计算开销。
+    <!-- - **模型稀疏**: 也叫剪枝，模型稀疏是指通过删除或减少模型中一些低权重或参数来减少模型的大小和计算量。 -->
+  > 蒸馏提取精华，量化降低细节。
 
 - **实施难点**  
   - **硬件门槛**: OpenAI的GPT-4预训练成本约7800万美元，下一代模型的训练成本可能突破10亿美元，甚至向100亿美元迈进。国内有厂商利用算法优化，达到GPT-4同等性能表现的情况下，使大模型训练成本大幅降低，但也需要近600万美元的成本。  
@@ -80,7 +84,7 @@
   - **国内厂商**: deepseek(性价比极高,每百万Tokens为2元)、智谱AI（符合数据合规要求）、千问、百川。  
 
 - **本地私有化部署**  
-  - **部署工具推荐(推理引擎的选择)**:  
+  - **加速推理的引擎选择**:  
 
     | **工具**      | **优势**                          | **适用场景**              | **性能基准**                  |
     |---------------|-----------------------------------|---------------------------|-------------------------------|