Водич за Хадооп ИАРН - Научите основе архитектуре ИАРН

Хадооп ИАРН плете јединицу за складиштење Хадооп-а, тј. ХДФС (Хадооп дистрибуирани систем датотека) са различитим алатима за обраду. За оне који су потпуно нови у овој теми, ИАРН је кратица „ И. и ДО нотхер Р. извор Н. еготиатор “. Такође бих вам предложио да прођете кроз наш и пре него што наставите са учењем Апацхе Хадооп пређе. Овде ћу објаснити следеће теме како бих био сигуран да је на крају овог блога ваше разумевање Хадооп ИАРН-а јасно.

• Зашто предиво?
• Увод у Хадооп ПРЕДИЈУ
• Компоненте пређе
• Подношење пријаве у ПРЕЂИ
• Ток рада у Хадооп ИАРН

Зашто предиво?

У Хадооп верзији 1.0 која се такође назива МРВ1 (МапРедуце верзија 1), МапРедуце је обављао функције обраде и управљања ресурсима. Састојало се од Јоб Трацкер-а који је био сам мајстор. Јоб Трацкер је доделио ресурсе, извршио заказивање и надгледао послове обраде. Доделио је мапу и редуковао задатке на бројним подређеним процесима који се зову Таск Трацкерс. Трагачи задатака периодично су извештавали о свом напретку за праћење послова.

Овај дизајн резултирао је уским грлом скалабилности због једног Јоб Трацкера.ИБМ је у свом чланку споменуо да се према Иахоо !, практична ограничења таквог дизајна достижу кластером од 5000 чворова и 40.000 задатака који се истовремено извршавају.Поред овог ограничења, коришћење рачунарских ресурса је неефикасно у МРВ1. Такође, Хадооп оквир се ограничио само на парадигму обраде МапРедуце.

Да би се превазишла сва ова питања, ИАРН су 2012. године увели Иахоо и Хортонворкс у верзији 2.0 Хадооп-а. Основна идеја која стоји иза ИАРН-а је да олакша МапРедуце преузимањем одговорности за управљање ресурсима и распоређивање послова. ИАРН је почео да даје Хадоопу могућност да изводи послове који нису МапРедуце у оквиру Хадооп-а.

Такође можете погледати доњи видео где наш стручњак расправља о концептима пређе и детаљно је о архитектури.

Водич за Хадооп предиво | Архитектура предива Хадооп | Едурека

Увођењем ПРЕЈЕ, био потпуно револуционаран. Постао је много флексибилнији, ефикаснији и скалабилнији. Када је Иахоо почео да ради са ИАРН-ом у првом кварталу 2013. године, помогло је компанији да смањи величину свог Хадооп кластера са 40.000 чворова на 32.000 чворова. Али број радних места се удвостручио на 26 милиона месечно.

Увод у Хадооп ПРЕДИЈУ

Сад кад сам вас просветлио потребом за ПРЕЂОМ, дозволите ми да вас упознам са основном компонентом Хадооп в2.0, ПРЕЂА . ИАРН омогућава различите методе обраде података, попут обраде графова, интерактивне обраде, обраде токова, као и серијску обраду, за покретање и обраду података ускладиштених у ХДФС. Стога ИАРН отвара Хадооп другим врстама дистрибуираних апликација изван МапРедуце-а.

ИАРН је омогућио корисницима да изводе операције према захтеву користећи разне алате попут за обраду у реалном времену, Кошница за СКЛ, ХБасе за НоСКЛ и друге.

Поред управљања ресурсима, ИАРН врши и распоређивање послова. ИАРН обавља све ваше активности обраде додељивањем ресурса и задацима распоређивања. Апацхе Хадооп ИАРН Арцхитецтуре састоји се од следећих главних компоненти:

1. Ресоурце Манагер : Покреће се на главном демону и управља расподјелом ресурса у кластеру.
2. Ноде Манагер: Они раде на славе демонима и одговорни су за извршавање задатка на сваком поједином чвору података.
3. Мастер мастер: Управља животним циклусом корисничког посла и потребама ресурса појединачних апликација. Ради заједно са Ноде Манагер-ом и надгледа извршавање задатака.
4. Контејнер: Пакет ресурса, укључујући РАМ, ЦПУ, мрежу, ХДД итд. На једном чвору.

Компоненте пређе

ПРЕЂУ можете сматрати мозгом свог Хадооп екосистема. Слика испод представља ИАРН архитектуру.

Тхе прва компонента ИАРН Арцхитецтуре је,

информатички водич за почетнике

Ресоурце Манагер

• То је крајњи ауторитет у расподјели ресурса .
• По пријему захтева за обраду, он у складу са тим прослеђује делове захтева одговарајућим управитељима чворова, где се одвија стварна обрада.
• Арбитар је кластерских ресурса и одлучује о расподели расположивих ресурса за конкурентске апликације.
• Оптимизира употребу кластера као што је одржавање свих ресурса у употреби све време против различитих ограничења као што су гаранције капацитета, правичност и СЛА.
• Има две главне компоненте:а) Планерб)Апликација менаџер

а) Планер

• Планер је одговоран за расподјелу ресурса разним покренутим апликацијама подложно ограничењима капацитета, редовима итд.
• У РесоурцеМанагеру се назива чисти распоред, што значи да не врши никакво надгледање или праћење статуса апликација.
• Ако дође до квара апликације или квара хардвера, планер не гарантује да ће поново покренути неуспеле задатке.
• Обавља распоређивање на основу захтева ресурса апликација.
• Има плуг-ин додатак за политике који је одговоран за поделу ресурса кластера између различитих апликација. Постоје два таква додатка: Планер капацитета и Фаир Сцхедулер , који се тренутно користе као планери у програму РесоурцеМанагер.

б) Менаџер апликација

• Одговорна је за прихватање пријава за посао.
• Преговара о првом контејнеру од Управитеља ресурса за извршавање апликацијског мастер-а за одређену апликацију.
• Управља извођењем мастер-а апликација у кластеру и пружа услугу за поновно покретање контејнера Апплицатион Мастер-а у случају квара.

Долазак у друга компонента која је:

Ноде Манагер

• Брине о појединачним чворовима у Хадооп кластеру иуправља корисничким пословима и токовима посла на датом чвору.
• Региструје се код менаџера ресурса и шаље откуцаје срца са здравственим статусом чвора.
• Његов примарни циљ је управљање контејнерима апликација које му је доделио менаџер ресурса.
• Обавештава вас о Ресоурце Манагер-у.
• Апликација Мастер захтева додељени контејнер од Ноде Манагер-а тако што му шаље Цонтаинер Лаунцх Цонтект (ЦЛЦ) који укључује све што је апликацији потребно за покретање. Управитељ чворова креира тражени процес контејнера и покреће га.
• Надгледа употребу ресурса (меморија, ЦПУ) појединачних контејнера.
• Обавља управљање дневником.
• Такође убија контејнер по налогу менаџера ресурса.

Тхе трећа компонента компаније Апацхе Хадооп ИАРН је,

Мастер Мастер

• Пријава је један посао који се подноси у оквир. Уз сваку такву апликацију повезан је јединствени мастер апликације, који је ентитет специфичан за оквир.
• То је процес који координира извршавање апликације у кластеру и такође управља грешкама.
• Његов задатак је преговарање о ресурсима из Ресоурце Манагер-а и рад са Ноде Манагер-ом на извршавању и надгледању задатака компонената.
• Одговорна је за преговарање о одговарајућим контејнерима ресурса из РесоурцеМанагер-а, праћење њиховог статуса и праћење напретка.
• Једном започето, периодично шаље откуцаје срца менаџеру ресурса како би потврдио своје здравље и ажурирао евиденцију својих потреба за ресурсима.

Тхе четврта компонента је:

Контејнер

• То је колекција физичких ресурса попут РАМ-а, ЦПУ језгара и дискова на једном чвору.
• ИАРН контејнерима управља контекст покретања контејнера који је животни циклус контејнера (ЦЛЦ). Овај запис садржи мапу променљивих окружења, зависности ускладиштене у даљински приступачном складишту, сигурносне токене, корисни терет за услуге Ноде Манагер-а и наредбу неопходну за креирање процеса.
• Даје права апликацији да користи одређену количину ресурса (меморија, ЦПУ итд.) На одређеном хосту.

Подношење пријаве у ПРЕЂИ

Погледајте слику и погледајте кораке који су укључени у предаји пријаве за Хадооп ИАРН:

1) Пошаљите посао

2)Набавите ИД апликације

3) Контекст за подношење пријаве

4 а) Покрени контејнерЛансирање

б) Покрени Мастер Мастер

5) Доделити ресурсе

6 а) Контејнер

како направити пакет у јави

б) лансирање

7) извршити

Ток рада у Хадооп ИАРН

Погледајте датој слици и погледајте следеће кораке који су укључени у ток рада апликације Апацхе Хадооп ИАРН:

1. Клијент подноси пријаву
2. Управитељ ресурса додељује контејнер за покретање Менаџера апликација
3. Менаџер апликација се региструје код Менаџера ресурса
4. Апплицатион Манагер тражи контејнере од Ресоурце Манагер-а
5. Менаџер апликација обавештава Ноде Манагер да покреће контејнере
6. Код апликације извршава се у контејнеру
7. Клијент контактира менаџера ресурса / менаџера апликација да би надгледао статус апликације
8. Менаџер апликација се одјављује са Управитељем ресурса

Сада када знате Апацхе Хадооп ИАРН, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250.000 задовољних ученика раширених широм света. Едурека курс обуке за сертификацију великих података помаже ученицима да постану стручњаци за ХДФС, предиво, МапРедуце, ​​свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, финансијском домену.

Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.