Оё илова кардани садои тасодуфӣ ба қабатҳои пинҳон қонунӣ ҳисобида мешавад? Фарқи байни илова ва илова кардани тарки мактаб ва нормализатсияи партия чӣ фарқ дорад?


ҷавоб диҳед 1:

Бале, илова кардани садои тасодуфӣ ба қабатҳои пинҳон ин мунтазамӣ аст, мисли тарки мактаб. Фурӯши калидӣ дар ин ҷо он аст, ки агар вокуниши асабӣ дар ҳар баст баланд бошад, машқ бояд вазнҳоро ба категорияҳои алоҳида бо масофаи аз садо баландтар мутобиқ кунад. Аз ин рӯ, таснифот дар лаҳзаи таснифоти ғавғо набояд бештар устувор бошад. Ин ба кори таснифоти Max Margin хеле монанд аст ва мо ҳама медонем, ки техникаи Max Margin чӣ гуна муваффақ буданд (масалан, Мошинҳои Дастгирии Вектор). Бо вуҷуди ин, шумо бояд боварӣ ҳосил кунед, ки ин садо сигналро пур намекунад.

Тарки мактаб усули муқарраркунӣ ба ҳисоб меравад, зеро он ба ҳисоби миёна моделро анҷом медиҳад. Яъне, ҳангоми омӯзиш, модел дар асл тақсимоти эҳтимолиятро дар байни синфи моделҳои шабакаи асаб тақсим мекунад, ки дар он вазнҳо собит карда мешаванд, аммо яке аз нейронҳои модел намерасанд. Эҳтимолияти умумии ҳар як шабакаи асаб бо эҳтимолияти инфиродӣ дар он мавҷуд аст, ки ё як нейрон мушаххас аст. Ин мунтазамкунӣ аст, зеро он ба таҳрифи ҳолатҳои алоҳида, ки функсияи хароҷотро ҳамвор мекунад, миёна мебошад.

Илова кардани садои тасодуфӣ ба қабати пинҳонӣ ҳамон тавр амал мекунад, аммо бо паҳншавии эҳтимолияти дигар. Ба ҷои доштани вазнҳои собит, шумо як топологияи собит доред ва тақсимоти эҳтимолият вазнҳоро мувофиқи тақсимоти Гауссиан, ки дар вазни "ҳақиқӣ", яъне вазнҳое, ки дар диски шумо нигоҳ медоред, интихоб мекунад. Ин инчунин ба ҳисоби миёна модел аст ва бояд таъсири танзимкунанда дошта бошад, бо ин маҳдудият, ки садо (ихтилоф) набояд сигналро пур кунад. Масалан, агар шумо бори аввал BatchNorm -ро истифода баред, шумо профили тақрибан муқаррарии баромади оддӣ доред (ададҳо бо сифр бо як фарқият мутамарказ шудаанд) ва пас шумо метавонед садоро бо диспансери 0,1 истифода баред. Шумо метавонед бо ихтилоф бозӣ кунед, то бубинед, ки чӣ кор мекунад.

Нашр: Азбаски дар ин савол BatchNorm гуфта шуда буд, ман мехостам қайд кунам, ки BatchNorm воқеан барои танзими истифода намешавад. Яъне, BatchNorm хароҷотро ҳамвор намекунад. Ба ҷои ин, BatchNorm барои беҳтар кардани самараи тарғиби бозгашт илова карда мешавад. Аслан, он градиенти қафо тарғибшударо аз ҳад зиёд ё хурд бо роҳи наҷот ва аз нав ҷойгиркунӣ пешгирӣ мекунад. Ҳамчун техника, он ба усулҳои навсозии дуюмдараҷаи пайванди амиқтаре, ки кӯшиши сатҳи хароҷотро моделсозӣ мекунанд, алоқаманд аст. Тавре ки дар боло қайд карда шуд, BatchNorm низ метавонад истифода шавад, то дурустии миқёси нисбӣ ҳангоми илова кардани садои тасодуфӣ ба фаъолиятҳои асаб дуруст бошад.


ҷавоб диҳед 2:

Ман онро ҳиллаи оптимизатсия мешуморам на ба танзим дароварда.

Таъсир бояд ба таъсири стохастикӣ дар SGD мувофиқат кунад.

SGD ва усулҳои илҳомбахши ӯ Монте Карло ба ҷои ба таври қатъӣ пайравӣ кардани самти қаъри нишастан қадами тасодуфиро вақт аз вақт намегузоранд, ки дар минимуми бади маҳаллӣ часпанд. ё ин ки дар ривоёти мухталифи онҳо як чизи мувофиқе анҷом диҳед, масалан Ба ҷои қадами тасодуфӣ мунтазам ба ҳар як қадам ҷузъи тасодуфиро илова кунед.

Илова кардани садои тасодуфии заиф ба вазнҳо айнан ҳамон чизро мекунад. [Эзоҳ: Андозаи градиентӣ ба вазнҳои ҳар як итератсия чизе илова мекунад!]


ҷавоб диҳед 3:

Нашр:

Бо илова кардани садои тасодуфии тақсимшудаи Гаусс ба маълумоти вурудии ҳар як қабат, модели шумо метавонад ба тағиротҳои хурди додаҳо қавитар шавад ва шабакаи шумо метавонад садоро аз сигнал фарқ кунад. Тавре ки Зиесхан Зия гуфтааст, ин аслан як градиенти хуби стохастикӣ хоҳад буд. Ман то ҳол ин муқарраротро баррасӣ намекардам. Ин як тарзу усулест, ки модели шумо барои омӯхтани намунаҳо барои ҷудо кардани садо аз сигнал метавонад истифода барад.

Тарки тарки мактаб ба таври тасодуфӣ як қисми гиреҳҳоро дар сатҳи пинҳон бо ҳар гузариш ғайрифаъол мекунад. Ин шабакаро такмил медиҳад, зеро он бояд бо роҳҳои гуногун эътироф кардани ҳамон як намунаҳоро дошта бошад, ки ин ба модели беҳтар оварда мерасонад.

Ҳангоми нормализатсия, воридотро дар як сатҳ гиред ва кафолат диҳед, ки ҳамаи онҳо байни 0 ва 1 мувофиқат карда шудаанд. Ин ба шабака беҳтар омӯхтанро фароҳам меорад, зеро градиент хубтар ва ҳамвор боқӣ мемонад. Бо ин роҳ шумо аз ҷаҳидан ба минима гурехтанро пешгирӣ кунед, зеро нишебии шумо хеле калон аст.