Преглед Хадооп 2.0 Федерације кластер архитектуре

Федерација кластерске архитектуре Хадооп 2.0

Увод:

На овом блогу ћу дубоко заронити у Хадооп 2.0 Федерацију кластер архитектуре. Апацхе Хадооп је много еволуирао од изласка Апацхе Хадооп 1.к. Као што знате из мог претходног блога да је слиједи главна / подређена топологија гдје НамеНоде дјелује као главни демон и одговоран је за управљање осталим подређеним чворовима који се називају ДатаНодес. У овом екосистему, овај главни Даемон или НамеНоде постаје уско грло и, напротив, компаније морају да имају НамеНоде који је високо доступан. Управо је овај разлог постао темељ ХДФС федерације архитектуре и ХА (висока доступност) архитектура .

Теме које сам обрађивао на овом блогу су следеће:

фибоначијев рекурзивни ц ++

• Тренутна ХДФС архитектура
• Ограничења тренутне ХДФС архитектуре
• ХДФС Федератион Арцхитецтуре

Преглед тренутне ХДФС архитектуре:

Као што видите на горњој слици, тренутни ХДФС има два слоја:

• ХДФС простор имена (НС): Овај слој је одговоран за управљање директоријумима, датотекама и блоковима. Пружа све операције система датотека повезане са простором имена, попут креирања, брисања или модификовања датотека или директорија датотека.
• Слој за складиштење: Састоји се од две основне компоненте.
  1. Управљање блоковима : Изводи следеће операције:
     • Повремено проверава откуцаје срца ДатаНодес-а и управља чланством ДатаНоде у кластеру.
     • Управља извештајима о блоковима и одржава локацију блока.
     • Подржава блоковске операције попут креирања, модификовања, брисања и алокације локације блока.
     • Одржава фактор репликације доследан током целог кластера.

2 Физичко складиште : Њиме управљају ДатаНодес који су одговорни за складиштење података и на тај начин омогућавају приступ читању / писању података ускладиштених у ХДФС-у.

Дакле, тренутна ХДФС архитектура омогућава вам да имате јединствени простор имена за кластер. У овој архитектури, један НамеНоде одговоран је за управљање простором имена. Ова архитектура је врло погодна и лака за имплементацију. Такође, пружа довољну способност да задовољи потребе малог производног кластера.

Ограничења тренутног ХДФС-а:

Као што је раније речено, тренутни ХДФС је био довољан за потребе и случајеве употребе малог производног кластера. Али, велике организације попут Иахоо-а, Фацебоок је пронашао нека ограничења како је ХДФС кластер експоненцијално растао. Кратко ћемо погледати нека ограничења:

1. Простор имена је није скалабилно попут ДатаНодес. Дакле, у кластеру можемо имати само онај број ДатаНодес-а који један НамеНоде може обрадити.
2. Два слоја, односно слој простора имена и слој за складиштење јесу чврсто заједно што чини алтернативну имплементацију НамеНоде веома тешком.
3. Перформансе целог Хадооп система зависе од пропусност НамеНоде. Стога целокупне перформансе свих ХДФС операција зависе од тога колико задатака НамеНоде може да обради у одређено време.
4. НамеНоде чува читав простор имена у РАМ-у за брзи приступ. То доводи до ограничења у погледу величина меморије тј. Број објеката простора имена (датотека и блокова) са којима се један сервер простора имена може носити.
5. Многе организације (добављачи) које имају ХДФС примену омогућавају више организација (станара) да користе свој простор имена кластера. Дакле, не постоји одвајање простора имена, а самим тим и постоји нема изолације међу станарским организацијама које користе кластер.

ХДФС федерација архитектура:

• У ХДФС Федератион Арцхитецтуре имамо хоризонталну скалабилност услуге имена. Према томе, имамо више НамеНоде-а који су савезни, тј. Неовисни један од другог.
• Чворови података су присутни на дну, тј. Основни слој за складиштење.
• Сваки ДатаНоде се региструје са свим НамеНодес у кластеру.
• ДатаНодес преносе периодичне откуцаје срца, блокирају извештаје и обрађују наредбе из НамеНодес-а.

Сликовити приказ ХДФС федерације архитектуре дат је у наставку:

Пре него што кренемо напред, дозволите ми да укратко разговарам о горњој архитектонској слици:

• Постоји више простора имена (НС1, НС2,…, НСн) и сваким од њих управља одговарајући НамеНоде.
• Сваки простор имена има своје спремиште блокова (НС1 има Поол 1, НСк има Поол к и тако даље).
• Као што је приказано на слици, блокови из базена 1 (небеско плави) чувају се на ДатаНоде 1, ДатаНоде 2 и тако даље. Слично томе, сви блокови из сваког спремишта блокова ће се налазити на свим ДатаНодес-има.

Хајде сада да детаљно схватимо компоненте ХДФС Федератион Арцхитецтуре:

Блок базен:

Скуп блокова није ништа друго до скуп блокова који припадају одређеном Простору имена. Дакле, имамо колекцију спремишта блокова где се сваким обимом блокова управља независно од другог. Ова независност где се сваким блоком блокова управља независно омогућава именском простору да креира ИД-ове блокова за нове блокове без координације са другим просторима имена. Блокови података присутни у читавом спремишту блокова чувају се у свим ДатаНодес. У основи, спремиште блокова пружа апстракцију тако да се блокови података који се налазе у ДатаНодес-има (као у архитектури јединственог простора имена) могу групирати у складу са одређеним простором имена.

Волумен простора простора:

Волумен простора имена није ништа друго него простор имена заједно са својим блоком спремишта. Према томе, у ХДФС Федерацији имамо више волумена простора имена. То је самостална јединица управљања, тј. Сваки волумен простора имена може функционисати независно. Ако је НамеНоде или простор имена избрисан, одговарајуће спремиште блокова који се налази на ДатаНодес-у такође ће бити избрисано.

Демо на Хадооп 2.0 Федерација кластер архитектуре | Едурека

Сад претпостављам да имате прилично добру идеју о ХДФС Федератион Арцхитецтуре. То је више теоријски концепт и људи га углавном не користе у практичном производном систему. Постоје неки проблеми са имплементацијом ХДФС федерације што отежава примену. Стога ХА (висока доступност) архитектура пожељно је решити проблем Јединствене тачке неуспеха. Покривао сам ХДФС ХА архитектура у мом следећем блогу.

програм серије фибонацци у јави

Сад кад сте разумели Хадооп ХДФС Федератион Арцхитецтуре, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250 000 задовољних ученика раширених широм света. Едурека курс обуке за сертификацију за велике податке помаже ученицима да постану стручњаци за ХДФС, предиво, МапРедуце, ​​свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, финансијском домену.

Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.