Капсулне неуронске мреже - Скуп угнежђених неуронских слојева



Цапсуле Нетворкс - Овај блог говори о ограничењима конволуционих неуронских мрежа и како Цапсуле Неурал Нетворкс решава та ограничења.

Цапсуле Нетворкс:

Шта су Цапсуле Нетворкс? То је у основи мрежа скупова угнежђених неуронских слојева.

Препоручио бих вам да прођете и кроз блогове у наставку:





Претпостављам да, момци, знате Цонволутионал Неурал Нетворкс (ЦНН). Ево, даћу вам мали увод о истом, како бих могао да разговарам о ограничењима ЦНН-а.

Такође можете погледати доњи видео о Цонволутионал Неурал Нетворк.



Конволуционе неуронске мреже (ЦНН)

Конволуционе неуронске мреже у основи представљају низ различитих слојева вештачких неурона, који се користи за рачунарски вид. Испод сам споменуо оне слојеве:

Конволуциона неуронска мрежа - Капсулна неуронска мрежа - Едурека

Конволуциони слој: Када за класификацију слика користимо неформалне мреже за прослеђивање (вишеслојни перцептрон), има много изазова са њом. Најфрустрирајући изазов је тај што уводи пуно параметара, размотрите видео туториал на ЦНН-у.



Да бисте превазишли овај изазов Слој конволуције је уведен. претпоставља се да ће пиксели који су просторно ближи један другом „сарађивати“ у формирању одређене особине која вас занима много више од оних на супротним угловима слике. Такође, ако се утврди да је одређена (мања) карактеристика од велике важности приликом дефинисања ознаке слике, биће подједнако важно ако је ова карактеристика пронађена било где на слици, без обзира на локацију.

РеЛУ слој: Функција трансформације исправљене линеарне јединице (РеЛУ) активира чвор само ако је улаз изнад одређене количине, док је улаз испод нуле, излаз је нула, али када се улаз подигне изнад одређеног прага, он има линеарни однос са зависна варијабла.

  • У овом слоју уклањамо све негативне вредности са филтрираних слика и замењујемо их нулом
  • То се ради да би се избегло сабирање вредности на нулу

Слој за удруживање: Ово се користи за смањење узорковања, које троши мале и (обично) раздвојене делове слике и агрегира их у једну вредност. Постоји неколико могућих шема за агрегацију - најпопуларније биће Мак-Поолинг , где се узима максимална вредност пиксела унутар сваког дела. Чини мрежу инваријантном према малим трансформацијама, изобличењима и преводима на улазној слици (мала изобличења на улазу неће променити излаз Удруживања - јер узимамо максималну / просечну вредност у локалном суседству).

Потпуно повезан слој: Овај слој ће израчунати оцене на часу, где сваки од бројева одговара оцени на часу. Као и код обичних неуронских мрежа, као што и само име говори, сваки неурон у овом слоју биће повезан са свим неуронима у претходном тому. Укратко, врши коначну класификацију.

На тај начин, ЦонвНетс трансформишу оригинални слој слике по слоју од оригиналних вредности пиксела до коначних резултата класе.

Ово је био врло кратак увод у Цонволутионал Неурал Нетворкс, ипак бих вам препоручио да погледате ЦНН видео који сам уградио у овај пост.

На овом блогу Цапсуле Нетворкс, сада ћу разговарати о неколико ограничења Конволуционих неуронских мрежа

Ограничења конволуционих неуронских мрежа:

Па, дозволите ми да објасним ово са аналогијом.

Претпоставимо да постоји човек, чије очи могу да открију особине различитих слика. Размотримо као пример лице човека. Дакле, овај несрећни момак може да идентификује различите особине као што су очи, нос итд., Али није у стању да идентификује просторне односе међу обележјима (перспектива, величина, оријентација). На пример, следећа слика може заварати тог момка кад је класификује као добру скицу људског лица.

Ово је проблем и са конволуционим неуронским мрежама. ЦНН је добар у откривању карактеристика, али ће погрешно активирати неурон за откривање лица. То је зато што је мање ефикасно у истраживању просторних односа међу особинама.

Једноставан ЦНН модел може правилно извући карактеристике за нос, очи и уста, али ће погрешно активирати неурон за откривање лица. Без увиђања погрешног подударања у просторној оријентацији и величини, активација за откривање лица биће превисока.

Па, ово ограничење је због слоја Мак Поолинг.

Максимално удруживање у ЦНН обрађује транслационе варијансе. Чак је и функција мало померена, ако је и даље унутар прозора за удруживање, и даље може да се открије. Ипак, овај приступ задржава само максимум (највише доминира) и баца остале.

Дакле, слика лица приказана горе биће класификована као нормално лице. Слој за удруживање такође додаје ову врсту непроменљивости.

То никада није била намера слоја за удруживање. Оно што је удруживање требало да уради је да уведе позиционе, оријентационе, пропорционалне непроменљивости.

У стварности, овај слој удруживања додаје све врсте позиционе непроменљивости. Као што видите и на горњем дијаграму, то доводи до дилеме да правилно препознате лице.

Да видимо шта је решење које је предложио Геоффреи Хинтон .

Како решити овај проблем?

Сада замишљамо да сваки неурон садржи вероватноћу као и својства карактеристика. На пример, даје вектор који садржи [вероватноћа, оријентација, величина]. Помоћу ових просторних информација можемо открити нескладност у оријентацији и величини носа, очију и ушију, а самим тим и знатно нижу активацију за откривање лица.

У раду који је објавио Геоффреи Хинтон , ове врсте неурона називају се капсуле. Ове капсуле дају вектор уместо једне вредности скалера.

Дозволите ми да осветлим оно што су Цапсуле Нетворкс.

Шта су капсулне мреже?

Капсула је у основи скуп угнежђених неуронских слојева. Стање неурона унутар капсуле бележи различита својства попут положаја (положаја, величине, оријентације), деформације, брзине, текстуре итд., Једног ентитета унутар слике.

Уместо да ухвати обележје са одређеном варијантом, капсула је обучена да ухвати вероватноћу обележја и његове варијанте. Дакле, сврха капсуле није само да детектује карактеристику, већ и да обучи модел за учење варијанте.

Тако да иста капсула може да открије исту класу предмета са различитим оријентацијама (на пример, ротирати у смеру казаљке на сату):

Можемо рећи да ради на еквиваријантност, а не на инваријантност.

Непроменљивост: је откривање карактеристика без обзира на варијанте. На пример, неурон за откривање носа открива нос без обзира на оријентацију.

Еквиваријанса: је откривање предмета који се међусобно могу трансформисати (на пример, откривање лица различитих оријентација). Интуитивно, мрежа капсула открива да је лице ротирано удесно за 31 ° (еквиваријанса), уместо да схвати да се лице подудара са варијантом која је ротирана за 31 °. Присиљавањем модела да научи варијанту обележја у капсули, можемо ефикасније екстраполирати могуће варијанте са мање података о обуци. Поред тога, можда ћемо ефикасније одбити противнике.

Капсула даје вектор који представља постојање ентитета. Оријентација вектора представља својства ентитета.

Вектор се шаље свим могућим родитељима у неуронској мрежи. За сваког могућег родитеља капсула може пронаћи вектор предвиђања. Вектор предвиђања израчунава се на основу множења сопствене тежине и матрице тежине. Који год родитељ има највећи скаларни производ вектора предвиђања, повећава везу капсуле. Остатак родитеља смањује њихову везу. Ово се зове Рутирање по договору .

Ово је дефинитивно бољи приступ од максималног удруживања, у којем се усмеравање заснива на најјачој особини откривеној у доњем слоју.

Након овога следи функција мљацања која се додаје. Ово је учињено ради увођења нелинеарности. Ова функција згњечења примењује се на векторски излаз сваке капсуле.

Дозволите ми да вам кажем сада како функционишу Цапсуле Нетворкс.

Како функционишу мреже капсула?

Кренимо корак уназад. У потпуно повезаној мрежи, излаз сваког неурона је пондерисани збир улаза.

Сада, да видимо шта се дешава у Цапсуле Нетворкс.

Неурална мрежа капсуле:

Размотримо неуронску мрежу капсуле где „уи„Је вектор активности за капсулу“јау доњем слоју.

Корак - 1: Примените матрицу трансформацијеИНијдо излаза капсуле уи претходног слоја. На пример, са м × к матрицом трансформишемо к-Дуи до м-Ду ^ј | и. ((м × к) × (к × 1) = м × 1).

То је предвиђање ( гласати ) из капсуле „и“ на излазу капсуле „ј“ изнад. ‘Вј„Је вектор активности за капсулу“ј ’у горњем слоју

Корак - 2: Израчунајте пондерисани збир сјса теговимациј.цијсу коефицијенти спрезања. Збир ових коефицијената једнак је јединици. То је стварни параметар који делује на однос групе капсула о којима смо раније говорили.

како скенирати знак у јави

Корак - 3: У револуционарним неуронским мрежама користили смо функцију РеЛУ. Овде ћемо применити функцију згњечења за скалирање вектора између 0 и дужине јединице. Смањује мале векторе на нулу, а дуге на јединичне векторе. Стога је вероватноћа сваке капсуле ограничена између нуле и један.

То је предвиђање ( гласати ) из капсуле „и“ на излазу капсуле „ј“ изнад. Ако вектор активности има блиску сличност са вектором предвиђања, закључујемо да капсула ‘јаје у великој вези са капсуломј ’. (На пример, капсула за нос је у великој вези са капсулом за лице.) Таква сличност се мери помоћу скаларног производа вектора предвиђања и активности. Према томе, сличност узима у обзир и вероватноћу и својства обележја. (уместо само вероватноће у неуронима).

Корак - 4: Израчунати резултат релевантности „биј‘. То ће бити тачкасти производ вектора активности и вектора предвиђања. Коефицијенти спрезањацијизрачунава се као софтмак одбиј:

Коефицијент спрезања цијизрачунава се као софтмакс биј.

Ово бијсе итеративно ажурира у више итерација.

Ово се зове Рутирање по договору .

Испод је дијаграм један пример:

После овог блога на Цапсуле Нетворкс, смислићу блог о имплементацији Цапсуле Неурал Нетворк помоћу ТенсорФлов.

Надам се да сте уживали читајући овај блог на мрежама капсула, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250.000 задовољних ученика раширених широм света. Едурека курс за дубинско учење помоћу ТенсорФлов сертификата помаже ученицима да постану стручњаци у обуци и оптимизацији основних и конволуционих неуронских мрежа користећи пројекте и задатке у стварном времену заједно са концептима као што су СофтМак функција, Неуронске мреже са аутоматским кодирањем, Ограничена Болтзманн машина (РБМ).

Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.