• 前端壓縮，是指在不改變原網絡結構的壓縮技術，主要包括知識蒸餾、輕量級網絡（緊湊的模型結構設計）以及濾波器（filter）層面的剪枝（結構化剪枝）等；

• 后端壓縮，是指包括低秩近似、未加限制的剪枝（非結構化剪枝 / 稀疏）、參數量化以及二值網絡等，目標在于盡可能減少模型大小，會對原始網絡結構造成極大程度的改造。

一，低秩近似

1.1，總結

二，剪枝與稀疏約束

1. 衡量神經元的重要程度

2. 移除掉一部分不重要的神經元，這步比前 1 步更加簡便，靈活性更高

3. 對網絡進行微調，剪枝操作不可避免地影響網絡的精度，為防止對分類性能造成過大的破壞，需要對剪枝后的模型進行微調。對于大規模行圖像數據集（如 ImageNet）而言，微調會占用大量的計算資源，因此對網絡微調到什么程度，是需要斟酌的

4. 返回第一步，循環進行下一輪剪枝

2.1，總結

三，參數量化

1. 標量量化（scalar quantization）。

2. 標量量化會在一定程度上降低網絡的精度，為避免這個弊端，很多算法考慮結構化的向量方法，其中一種是乘積向量（Product Quantization, PQ），詳情咨詢查閱論文。

3. 以 PQ 方法為基礎，Wu 等人設計了一種通用的網絡量化算法：QCNN (quantized CNN)，主要思想在于 Wu 等人認為最小化每一層網絡輸出的重構誤差，比最小化量化誤差更有效。

3.1，總結

四，二值化網絡

def residual_unit(data, num_filter, stride, dim_match, num_bits=1):
 """殘差塊 Residual Block 定義
    """
    bnAct1 = bnn.BatchNorm(data=data, num_bits=num_bits)
    conv1 = bnn.Convolution(data=bnAct1, num_filter=num_filter, kernel=(3, 3), stride=stride, pad=(1, 1))
    convBn1 = bnn.BatchNorm(data=conv1, num_bits=num_bits)
    conv2 = bnn.Convolution(data=convBn1, num_filter=num_filter, kernel=(3, 3), stride=(1, 1), pad=(1, 1))
 if dim_match:
        shortcut = data
 else:
        shortcut = bnn.Convolution(data=bnAct1, num_filter=num_filter, kernel=(3, 3), stride=stride, pad=(1, 1))
 return conv2 + shortcut

4.1，二值網絡的梯度下降

1. 權重 weight 初始化為浮點

2. 前向傳播 Forward Pass:

• • 利用決定化方式（sign (x) 函數）把 Weight 量化為 +1/-1, 以 0 為閾值

  • 利用量化后的 Weight (只有 + 1/-1) 來計算前向傳播，由二值權重與輸入進行卷積運算（實際上只涉及加法），獲得卷積層輸出。

3. 反向傳播 Backward Pass:

• • 把梯度更新到浮點的 Weight 上（根據放松后的符號函數，計算相應梯度值，并根據該梯度的值對單精度的權重進行參數更新）

  • 訓練結束：把 Weight 永久性轉化為 +1/-1, 以便 inference 使用

4.2，兩個問題

• 直接根據權重的正負進行二值化：xb=sign (x)xb=sign(x)。符號函數 sign (x) 定義如下：

• 進行隨機的二值化，即對每一個權重，以一定概率取 ±1±1

4.3，二值連接算法改進

4.4，二值網絡設計注意事項

• 不要使用 kernel = (1, 1) 的 Convolution （包括 resnet 的 bottleneck）：二值網絡中的 weight 都為 1bit， 如果再是 1x1 大小， 會極大地降低表達能力

• 增大 Channel 數目 + 增大 activation bit 數 要協同配合：如果一味增大 channel 數， 最終 feature map 因為 bit 數過低， 還是浪費了模型容量。同理反過來也是。

• 建議使用 4bit 及以下的 activation bit， 過高帶來的精度收益變小， 而會顯著提高 inference 計算量

五，知識蒸餾

• 第一項是由小模型的預測結果與大模型的 “軟標簽” 所構成的交叉熵（cross entroy）;

• 第二項為預測結果與普通類別標簽的交叉熵。

# -*-coding-*-  : utf-8  
"""
本程序沒有給出具體的模型結構代碼，主要給出了知識蒸餾 softmax 損失計算部分。
"""
import mxnet as mx
def get_symbol(data, class_labels, resnet_layer_num,Temperature,mimic_weight,num_classes=2):
    backbone = StudentBackbone(data) # Backbone 為分類網絡 backbone 類
    flatten = mx.symbol.Flatten(data=conv1, name="flatten")
 fc_class_score_s = mx.symbol.FullyConnected(data=flatten, num_hidden=num_classes, name='fc_class_score')
    softmax1 = mx.symbol.SoftmaxOutput(data=fc_class_score_s, label=class_labels, name='softmax_hard')
 import symbol_resnet # Teacher model
 fc_class_score_t = symbol_resnet.get_symbol(net_depth=resnet_layer_num, num_class=num_classes, data=data)
 s_input_for_softmax=fc_class_score_s/Temperature
 t_input_for_softmax=fc_class_score_t/Temperature
 t_soft_labels=mx.symbol.softmax(t_input_for_softmax, name='teacher_soft_labels')
    softmax2 = mx.symbol.SoftmaxOutput(data=s_input_for_softmax, label=t_soft_labels, name='softmax_soft',grad_scale=mimic_weight)
    group=mx.symbol.Group([softmax1,softmax2])
 group.save('group2-symbol.json')
 return group

# 將類別標簽進行one-hot編碼
one_hot = tf.one_hot(y, n_classes,1.0,0.0) # n_classes為類別總數, n為類別標簽
# one_hot = tf.cast(one_hot_int, tf.float32)
teacher_tau = tf.scalar_mul(1.0/args.tau, teacher) # teacher為teacher模型直接輸出張量, tau為溫度系數T
student_tau = tf.scalar_mul(1.0/args.tau, student) # 將模型直接輸出logits張量student處于溫度系數T
objective1 = tf.nn.sigmoid_cross_entropy_with_logits(student_tau, one_hot)
objective2 = tf.scalar_mul(0.5, tf.square(student_tau-teacher_tau))
"""
student模型最終的損失函數由兩部分組成：
第一項是由小模型的預測結果與大模型的“軟標簽”所構成的交叉熵（cross entroy）;
第二項為預測結果與普通類別標簽的交叉熵。
"""
tf_loss = (args.lamda*tf.reduce_sum(objective1) + (1-args.lamda)*tf.reduce_sum(objective2))/batch_size

tf.scalar_mul 函數為對 tf 張量進行固定倍率 scalar 縮放函數。一般 T 的取值在 1 - 20 之間，這里我參考了開源代碼，取值為 3。我發現在開源代碼中 student 模型的訓練，有些是和 teacher 模型一起訓練的，有些是 teacher 模型訓練好后直接指導 student 模型訓練。

六，淺層 / 輕量網絡

淺層網絡：通過設計一個更淺（層數較少）結構更緊湊的網絡來實現對復雜模型效果的逼近，但是淺層網絡的表達能力很難與深層網絡相匹敵。因此，這種設計方法的局限性在于只能應用解決在較為簡單問題上。如分類問題中類別數較少的 task。

輕量網絡：使用如 MobilenetV2、ShuffleNetv2 等輕量網絡結構作為模型的 backbone 可以大幅減少模型參數數量。