在线精品国内外视频,亚州人成网在线播放,一个人免费观看视频www

Max Pooling算子的定義

池化層在深度學習網絡中的作用一般是用來緩解卷積層對位置的過度敏感性。池化層每次對輸入數據的一個固定形狀窗口(池化窗口的大小為pooling height, pooling width)中的元素計算輸出，池化層直接計算池化窗口內元素的最大值或者平均值，因此該運算也分別叫做最大池化或平均池化。

在我們本節課要講的二維最大池化中，池化窗口從輸入數組的最左上方開始，按從左往右、從上往下的順序，依次在輸入數組上滑動(滑動的幅度被稱為stride)。當池化窗口滑動到某一位置時，窗口中的輸入子數組的最大值即輸出數組中相應位置的元素。

圖1展示了池化窗口形狀為 2×2 的最大池化，陰影部分為第一個輸出元素及其計算所使用的輸入元素。

輸出數組的高和寬分別為2，其中的4個元素由取最大值運算 max 得出。如下公式所示，池化操作的步驟依次為從左到右，從上到下，每次向下移動的步長為stride height, 向右移動的步長為stride width. 進行池化操作元素的數量由pooling height和pooling width所組成的2×2的窗口所決定。

Max Pooling Operator的實現

classMaxPoolingOp:publicOperator{
public:
explicitMaxPoolingOp(uint32_tpooling_h,uint32_tpooling_w,uint32_tstride_h,
uint32_tstride_w,uint32_tpadding_h,uint32_tpadding_w);

voidset_pooling_h(uint32_tpooling_height);
voidset_pooling_w(uint32_tpooling_width);

voidset_stride_w(uint32_tstride_width);
voidset_stride_h(uint32_tstride_height);

voidset_padding_h(uint32_tpadding_height);
voidset_padding_w(uint32_tpadding_width);

uint32_tpadding_height()const;
uint32_tpadding_width()const;

uint32_tstride_width()const;
uint32_tstride_height()const;

uint32_tpooling_height()const;
uint32_tpooling_width()const;
private:
uint32_tpooling_h_;//池化核高度大小
uint32_tpooling_w_;//池化核寬度大小
uint32_tstride_h_;//高度上的步長
uint32_tstride_w_;//寬度上的步長
uint32_tpadding_h_;//高度上的填充
uint32_tpadding_w_;//寬度上的填充
};

可以看到如上的Operator中,有6個類內屬性，分別對應著我們第一節中講過的步長(stride), 池化核(pooling)以及在池化前對邊緣的擴充，以下我們在分別講講：

stride: 池化核每次移動的步長

pooling: 池化核的大小

padding: 對輸入特征圖的邊緣擴充

如下圖2是pad(padding值為1)后輸入特征圖的池化操作(池化核為2):

Max Pooling Layer的實現

MaxPoolingLayer::MaxPoolingLayer(conststd::shared_ptr&op):Layer("maxpooling"){
CHECK(op->op_type_==OpType::kOperatorMaxPooling)<op_type_);
MaxPoolingOp*max_pooling_op=dynamic_cast(op.get());

CHECK(max_pooling_op!=nullptr)<op_=std::make_unique(*max_pooling_op);
}

voidMaxPoolingLayer::Forwards(conststd::vector>>&inputs,
std::vector>>&outputs){
CHECK(this->op_!=nullptr);
CHECK(this->op_->op_type_==OpType::kOperatorMaxPooling);
CHECK(!inputs.empty());
constuint32_tpadding_h=this->op_->padding_height();
constuint32_tpadding_w=this->op_->padding_width();
constuint32_tkernel_h=this->op_->pooling_height();
constuint32_tkernel_w=this->op_->pooling_width();
constuint32_tstride_h=this->op_->stride_height();
constuint32_tstride_w=this->op_->stride_width();

constuint32_tbatch_size=inputs.size();
for(uint32_ti=0;i>&input_data_=inputs.at(i)->Clone();
input_data_->Padding({padding_h,padding_h,padding_w,padding_w},std::numeric_limits::lowest());
constuint32_tinput_h=input_data_->rows();
constuint32_tinput_w=input_data_->cols();
constuint32_tinput_c=input_data_->channels();
constuint32_toutput_c=input_c;

constuint32_toutput_h=uint32_t(std::floor((input_h-kernel_h)/stride_h+1));
constuint32_toutput_w=uint32_t(std::floor((input_w-kernel_w)/stride_w+1));
CHECK(output_w>0&&output_h>0);

std::shared_ptr>output_data=std::make_shared>(output_c,output_h,output_w);
for(uint32_tic=0;icat(ic);
arma::fmat&output_channel=output_data->at(ic);
for(uint32_tr=0;rMaxPoolingLayer::CreateInstance(conststd::shared_ptr&op){
CHECK(op->op_type_==OpType::kOperatorMaxPooling);
std::shared_ptrmax_layer=std::make_sh了ared(op);
returnmax_layer;
}

LayerRegistererWrapperkMaxPoolingLayer(OpType::kOperatorMaxPooling,MaxPoolingLayer::CreateInstance);

voidMaxPoolingLayer::Forwards(conststd::vector>>&inputs,
std::vector>>&outputs){
CHECK(this->op_!=nullptr);
CHECK(this->op_->op_type_==OpType::kOperatorMaxPooling);
CHECK(!inputs.empty());
}

我們重點來看Forwards函數, 首先判斷輸入是否為空并獲得池化操作相關的屬性值(原本存放在op中).

計算池化后的輸出特征圖大小, 公式為：

for(uint32_ti=0;i>&input_data_=inputs.at(i)->Clone();
input_data_->Padding({padding_h,padding_h,padding_w,padding_w},std::numeric_limits::lowest());

如上的過程表示對輸入的特征圖四周進行填充，填充的大小由于padding_w和padding_h決定。這兩個Layer計算時候的屬性由op中得到，也就是說padding_w和padding_h存放在this->op中， this->op_ = std::make_unique(*max_pooling_op);

for(uint32_ti=0;i>&input_data_=inputs.at(i)->Clone();
input_data_->Padding({padding_h,padding_h,padding_w,padding_w},std::numeric_limits::lowest());
constuint32_tinput_h=input_data_->rows();
constuint32_tinput_w=input_data_->cols();
constuint32_tinput_c=input_data_->channels();
constuint32_toutput_c=input_c;

constuint32_toutput_h=uint32_t(std::floor((input_h-kernel_h)/stride_h+1));
constuint32_toutput_w=uint32_t(std::floor((input_w-kernel_w)/stride_w+1));
CHECK(output_w>0&&output_h>0);

如上的過程表示根據輸入的特征圖大小input_h和input_w來計算對應的輸出特征值大小output_h和output_w. 計算的公式如上文所示。如果輸入的特征數據input_data_有填充，則根據填充數據的輸入大小來計算對應的輸出大小。

for(uint32_ti=0;iat(ic);
arma::fmat&output_channel=output_data->at(ic);
for(uint32_tr=0;r

	

	for(uint32_t ic =0; ic < input_c;++ic) 表示對輸入的特征圖進行逐通道的池化操作, 設當前進行操作的輸入特征圖通道為input_channel, 池化后的輸出特征圖放置于output_channel中。池化的過程如下公式所描述：

	

	在上述的代碼中region表示當前輸入特征數據需要進行池化的部分，對應于公式中[r:r+kernel height -1,c:c+kernel width -1]

	中的數據。輸入特征的數據是逐個通道進行處理（池化操作）的，從ic = 0到ic = input_channel - 1, 當前池化的數據保存在region中。

	input_channel.submat(r, c, r + kernel_h -1, c + kernel_w -1)取得一個池化區域內的所有元素，隨后使用region.max()取得區域內(kernel_h和kernel_w組成的范圍)的最大值, 并且每次區域移動的位置是stride_h和stride_w, 取得最大值后存放在輸出特征圖中對應的位置中，輸出存放的位置為輸出特征圖outut_channel的(int(r/stride_h),int(c/stride_w))的位置中。這部分可能描述地比較晦澀，請結合視頻一起食用。

	Max Pooling Layer的其他部分

	
MaxPoolingLayer::MaxPoolingLayer(conststd::shared_ptr&op):Layer("maxpooling"){
CHECK(op->op_type_==OpType::kOperatorMaxPooling)<op_type_);
MaxPoolingOp*max_pooling_op=dynamic_cast(op.get());

CHECK(max_pooling_op!=nullptr)<op_=std::make_unique(*max_pooling_op);
}

LayerRegistererWrapperkMaxPoolingLayer(OpType::kOperatorMaxPooling,MaxPoolingLayer::CreateInstance);


	

	以上的步驟完成了Max Pooling層的注冊, 具體流程已經在第五節中講過。MaxPoolingLayer::MaxPoolingLayer初始化部分根據傳入的op對this->op_進行賦值，this->op_中保存了stride,padding,pooling等計算時需要的屬性信息。

	單元測試

	
TEST(test_layer,forward_maxpooling1){
usingnamespacekuiper_infer;
uint32_tstride_h=1;
uint32_tstride_w=1;
uint32_tpadding_h=0;
uint32_tpadding_w=0;
uint32_tpooling_h=2;
uint32_tpooling_w=2;

std::shared_ptr
max_op=std::make_shared(pooling_h,pooling_w,stride_h,stride_w,padding_h,padding_w);
std::shared_ptrmax_layer=LayerRegisterer::CreateLayer(max_op);
CHECK(max_layer!=nullptr);

arma::fmatinput_data="012;"
"345;"
"678;";
std::shared_ptr>input=std::make_shared>(2,input_data.n_rows,input_data.n_cols);
input->at(0)=input_data;
input->at(1)=input_data;

std::vector>>inputs;
std::vector>>outputs;
inputs.push_back(input);

max_layer->Forwards(inputs,outputs);
ASSERT_EQ(outputs.size(),1);
constauto&output=outputs.at(0);
LOG(INFO)<data();
ASSERT_EQ(output->rows(),2);
ASSERT_EQ(output->cols(),2);

ASSERT_EQ(output->at(0,0,0),4);
ASSERT_EQ(output->at(0,0,1),5);
ASSERT_EQ(output->at(0,1,0),7);
ASSERT_EQ(output->at(0,1,1),8);

ASSERT_EQ(output->at(1,0,0),4);
ASSERT_EQ(output->at(1,0,1),5);
ASSERT_EQ(output->at(1,1,0),7);
ASSERT_EQ(output->at(1,1,1),8);
}


	

	可以看到, 我們的輸入為 arma::fmat input_data ="0 1 2 ; 3 4 5 ;6 7 8; " , 池化核的大小為2, 每次移動的步長stride =1,所以根據我們在第一節中的計算, 最后的輸出特征圖大小應該是2乘2大小, 池化得到的值分別為4 5 7 8.

	

	





	審核編輯：劉清