Како поставити Хадооп кластер са ХДФС великом доступношћу

ХДФС 2.к Архитектура кластера високе доступности

На овом блогу ћу говорити о ХДФС 2.к архитектури кластера високе доступности и процедури за постављање ХДФС кластера високе доступности.Ово је важан део . Редослед којим су теме обрађиване на овом блогу је следећи:

• ХДФС ХА архитектура
  • Увод
  • Доступност НамеНоде
  • Архитектура ХА
  • Имплементација ХА (ЈоурналНоде и заједничко складиште)
• Како поставити ХА (Куорум Јоурнал Нодес) у Хадооп кластер?

Увод:

Концепт кластера високе доступности представљен је у Хадооп 2.к за решавање проблема са појединачном тачком квара у Хадооп 1.к. Као што знате из мог претходног блога да је слиједи главна / подређена топологија гдје НамеНоде дјелује као главни демон и одговоран је за управљање осталим подређеним чворовима који се називају ДатаНодес. Овај једини Мастер Даемон или НамеНоде постаје уско грло. Иако нас је увођење Секундарног НамеНоде спречило да изгубимо податке и растеретимо део терета НамеНоде, али то није решило проблем доступности НамеНоде.

Доступност НамеНоде:

Ако узмете у обзир стандардну конфигурацију ХДФС кластера, НамеНоде постаје једна тачка неуспеха . То се догађа зато што у тренутку када НамеНоде постане недоступан, цео кластер постаје недоступан док неко поново не покрене НамеНоде или донесе нови.

Разлози недоступности НамеНоде могу бити:

• Планирани догађај попут радова на одржавању, као што је надоградња софтвера или хардвера.
• Узрок томе може бити и непланирани догађај када се НамеНоде сруши из неких разлога.

У било ком од горе наведених случајева имамо застоје у којима нисмо у могућности да користимо кластер ХДФС што постаје изазов.

ХДФС ХА архитектура:

Да схватимо како је ХДФС ХА архитектура решила овај критични проблем доступности НамеНоде:

ХА архитектура је решила овај проблем доступности НамеНоде тако што нам је дозволила да имамо два НамеНоде у активној / пасивној конфигурацији. Дакле, имамо два покренута НамеНодес у исто време у кластеру велике доступности:

• Ацтиве НамеНоде
• Стандби / Пассиве НамеНоде.

Ако један НамеНоде падне, други НамеНоде може преузети одговорност и према томе смањити време пада кластера. Резервни НамеНоде служи у сврху резервног НамеНоде (за разлику од Секундарног НамеНоде) који укључује могућности пребацивања у кластер Хадооп. Због тога са СтандбиНоде можемо имати аутоматски отказ при сваком паду НамеНоде (непланирани догађај) или можемо имати грациозан (ручно покренут) отказ током периода одржавања.

Постоје два проблема у одржавању доследности у ХДФС кластеру високе доступности:

• Активни и резервни именски чвор би увек требало да буду међусобно синхронизовани, тј. Требало би да имају исте метаподатке. Ово ће нам омогућити да вратимо кластер Хадооп у исто стање простора имена у којем се срушио и, према томе, обезбедиће нам брзу отказивање.
• Одједном би требао постојати само један активни НамеНоде, јер ће два активна НамеНоде довести до оштећења података. Ова врста сценарија назива се сценаријем подијељеног мозга гдје се кластер дијели на мање кластере, при чему сваки вјерује да је једини активни кластер. Да би се избегли такви сценарији, врши се ограђивање. Мачевање је процес којим се осигурава да само један НамеНоде остане активан у одређено време.

Примена ХА архитектуре:

Сада знате да у ХДФС ХА архитектури имамо два НамеНоде покренута истовремено. Дакле, можемо применити Ацтиве и Стандби НамеНоде конфигурацију на следећа два начина:

1. Коришћење чворова Куорум Јоурнал
2. Дељено складиште помоћу НФС-а

Хајде да разумемо ова два начина примене, узимајући један по један:

1. Коришћење чворова кворумских дневника:

• Резервни НамеНоде и активни НамеНоде се међусобно синхронизују кроз засебну групу чворова или демона -позваних ЈоурналНодес .ЈоурналНодес прати топологију прстена где су чворови повезани једни са другима како би формирали прстен.ЈоурналНоде служи захтеву који му стиже и копира информације у друге чворове у прстену.Ово обезбеђује толеранцију грешака у случају квара ЈоурналНоде.
• Активни НамеНоде одговоран је за ажурирање ЕдитЛогс (информације о метаподацима) присутних у ЈоурналНодес.
• СтандбиНоде чита промене направљене у ЕдитЛогс у ЈоурналНоде и константно их примењује на свој простор имена.
• Током фаиловер-а, СтандбиНоде осигурава да је ажурирао своје податке мета података из ЈоурналНодес-а пре него што је постао нови Ацтиве НамеНоде. Ово чини тренутно стање простора имена синхронизованим са стањем прије преласка на други.
• ИП адресе оба НамеНодес-а доступне су свим ДатаНодес-има и шаљу откуцаје срца и блокирају информације о локацији оба НамеНоде-а. Ово омогућава брзо пребацивање (мање времена застоја) јер СтандбиНоде има ажуриране информације о локацији блока у кластеру.

Ограђивање НамеНоде:

Као што је раније речено, врло је важно осигурати да истовремено постоји само један активни чвор имена. Дакле, ограда је процес којим се осигурава управо ово својство у кластеру.

• ЈоурналНодес изводи ову ограду допуштајући да одједном само један НамеНоде буде писац.
• Резервни НамеНоде преузима одговорност писања на ЈоурналНодес и забрањује било којем другом НамеНоде да остане активан.
• Коначно, нови Ацтиве НамеНоде може безбедно да обавља своје активности.

2. Коришћење дељене меморије:

• СтандбиНоде и активни НамеНоде синхронизују се помоћу а заједнички уређај за складиштење .Активни НамеНоде евидентира запис о било којој модификацији изведеној у свом простору имена у ЕдитЛог који је присутан у овом дељеном складишту.СтандбиНоде чита промене направљене у ЕдитЛогс у овом дељеном складишту и примењује га на свој простор имена.
• Сада, у случају отказа, СтандбиНоде прво ажурира своје податке о метаподацима користећи ЕдитЛогс у дељеној меморији. Тада преузима одговорност Ацтиве НамеНоде. Ово чини тренутно стање простора имена синхронизованим са стањем прије преласка на други.
• Администратор мора да конфигурише бар један метод ограде како би се избегао сценарио подељеног мозга.
• Систем може користити низ механизама за ограду. То може укључивати убијање процеса НамеНоде и укидање његовог приступа директоријуму дељене меморије.
• Као крајње уточиште, можемо оградити претходно активни НамеНоде помоћу технике познате као СТОНИТХ или „пуцати другом чвору у главу“. СТОНИТХ користи специјализовану јединицу за дистрибуцију електричне енергије за принудно искључивање НамеНоде машине.

Аутоматско преусмјеравање:

Фаиловер је поступак којим систем аутоматски преноси контролу на секундарни систем када открије квар или квар. Постоје две врсте отказа:

Грацефул Фаиловер: У овом случају ручно покрећемо отказивање ради рутинског одржавања.

Аутоматско преусмјеравање: У овом случају, отказивање се аутоматски покреће у случају квара НамеНоде (непланирани догађај).

ц ++ разврставање бројева у растућем редоследу

Апацхе Зоокеепер је услуга која пружа могућност аутоматског отказивања у ХДФС Хигх Аваилабилти кластеру. Одржава мале количине података о координацији, обавештава клијенте о променама у тим подацима и надгледа клијенте због грешака. Зоокеепер одржава сесију са НамеНодес. У случају неуспеха, сесија ће истећи, а Зоокеепер ће обавестити друге НамеНодес да покрену поступак преласка на други. У случају квара НамеНоде, други пасивни НамеНоде може да закључа Зоокеепер изјавом да жели да постане следећи Ацтиве НамеНоде.

ЗоокеерФаиловерЦонтроллер (ЗКФЦ) је Зоокеепер клијент који такође надгледа и управља статусом НамеНоде. Сваки од НамеНоде такође покреће ЗКФЦ. ЗКФЦ је одговоран за периодично надгледање здравља НамеНодес-а.

Сада када сте схватили шта је велика доступност у Хадооп кластеру, време је да га подесите. Да бисте поставили високу доступност у Хадооп кластеру, морате да користите Зоокеепер у свим чворовима.

Демони у Ацтиве НамеНоде су:

• Чувар зоолошког врта
• Контролер неуспеха преко чувара зоолошког врта
• ЈоурналНоде
• НамеНоде

Демони у Стандби НамеНоде су:

• Чувар зоолошког врта
• Контролер неуспеха преко чувара зоолошког врта
• ЈоурналНоде
• НамеНоде

Демони у ДатаНодеу су:

• Чувар зоолошког врта
• ЈоурналНоде
• ДатаНоде

Ако желите да савладате ХДФС и Хадооп, погледајте посебно курирани курс Биг Дата и Хадооп од Едуреке. Кликните на дугме испод да бисте започели.

Постављање и конфигурисање кластера велике доступности у Хадооп-у:

Прво морате да подесите Јава и имена хостова сваког чвора.

Преузмите бинарну тар датотеку Хадооп и Зоокеепер, извуците датотеке за уређивање конфигурационих датотека.

Команда: вгет хттпс://арцхиве.апацхе.орг/дист/зоокеепер/зоокеепер-3.4.6/зоокеепер-3.4.6.тар.гз

Ширите чувара зоолошког врта-3.4.6.тар.гз

Команда : тар –квф зоокеепер-3.4.6.тар.гз

Преузмите стабилни бинарни катран Хадооп са сајта Апацхе Хадооп.

Команда : вгет хттпс://арцхиве.апацхе.орг/дист/хадооп/цоре/хадооп-2.6.0/хадооп-2.6.0.тар.гз

Извадите куглу катуна Хадооп.

Команда : тар –квф хадооп-2.6.0.тар.гз

Ширите хадооп бинарни.

Додајте датотеку Хадооп, Зоокеепер и путање у .басхрц датотеку.

Отворите .басхрц датотеку.

Команда : судо гедит ~ / .басхрц

Додајте доле наведене путање:

извоз ХАДООП_ХОМЕ = извоз ХАДООП_МАПРЕД_ХОМЕ = $ ХАДООП_ХОМЕ извоз ХАДООП_ЦОММОН_ХОМЕ = $ ХАДООП_ХОМЕ извоз ХАДООП_ХДФС_ХОМЕ = $ ХАДООП_ХОМЕ извоз ИАРН_ХОМЕ = $ ХАДООП_ХОМЕ извоз ХАДООП_ЦОНФ_ДИР = $ ХАДООП_ХОМЕ / итд / Хадооп извоз ИАРН_ЦОНФ_ДИР = $ ХАДООП_ХОМЕ / итд / Хадооп извоз ЈАВА_ХОМЕ = извоз ЗООКЕЕПЕР_ХОМЕ = сет = $ ПАТХ: $ ЈАВА_ХОМЕ / бин: $ ХАДООП_ХОМЕ / бин: $ ХАДООП_ХОМЕ / сбин: $ ЗООКЕЕПЕР_ХОМЕ / бин

Измените .басхрц датотеку.

Омогућите ССХ у свим чворовима.

Генеришите ССХ кључ у свим чворовима.

Команда : ссх-кеиген –т рса (овај корак у свим чворовима)

Подесите ССХ кључ у свим чворовима.

Не дајте путању до датотеке Ентер да бисте сачували кључ и немојте давати лозинку. Притисните тастер ентер.

Генеришите процес кључа ссх у свим чворовима.

Једном када се генерише ссх кључ, добићете јавни и приватни кључ.

Директориј .ссх кључева треба да садржи дозволу 700, а сви кључеви у .ссх директоријуму треба да садрже дозволе 600.

Промените дозволу за ССХ директоријум.

Промените директоријум у .ссх и промените дозволу датотека на 600

Промените дозволу за јавни и приватни кључ.

Морате копирати јавни кључ ссх чворова имена на све чворове.

У Ацтиве Наменоде копирајте ид_рса.пуб помоћу наредбе цат.

Команда : мачка ~ / .ссх / ид_рса.пуб >> ~ / .ссх / одобрени_кључеви

Копирајте Наменоде ссх кључ у овлашћене кључеве.

Копирајте јавни кључ НамеНоде на све чворове који користе ссх-цопи-ид команда.

Команда : ссх-цопи-ид –и .ссх / ид_рса.пуб едурека@нн2.цлустер.цом

Копирајте наменски кључ у Стандби НамеНоде.

Копирајте јавни кључ НамеНоде у чвор података.

Команда : ссх-цопи-ид –и .ссх / ид_рса.пуб едурека@дн1.цлустер.цом

Копирајте јавни кључ Наменоде у чвор података.

Поново покрените ссхд услугу у свим чворовима.

Команда : судо сервице ссхд рестарт (уради у свим чворовима)

Поново покрените ССХ услугу.

Сада се можете пријавити на било који чвор из Наменоде без икакве потврде идентитета.

Отворите датотеку цоре-сите.кмл из чвора Ацтиве Наме и додајте доња својства.

Уредите цоре-сите.кмл из Ацтиве наменоде

Отворите датотеку хдфс-сите.кмл у Ацтиве Наменоде. Додајте доленаведена својства.

дфс.наменоде.наме.дир / хоме / едурека / ХА / дата / наменоде дфс.реплицатион 1 дфс.пермиссионс фалсе дфс.намесервицес ха-цлустер дфс.ха.наменодес.ха-цлустер нн1, нн2 дфс.наменоде.рпц-аддресс .ха-цлустер.нн1 нн1.цлустер.цом:9000 дфс.наменоде.рпц-аддресс.ха-цлустер.нн2 нн2.цлустер.цом:9000 дфс.наменоде.хттп-аддресс.ха-цлустер.нн1 нн1.цлустер. цом: 50070 дфс.наменоде.хттп-аддресс.ха-цлустер.нн2 нн2.цлустер.цом:50070 дфс.наменоде.схаред.едитс.дир кјоурнал: //нн1.цлустер.цом: 8485нн2.цлустер.цом: 8485дн1. цлустер.цом:8485/ха-цлустер дфс.цлиент.фаиловер.проки.провидер.ха-цлустер орг.апацхе.хадооп.хдфс.сервер.наменоде.ха.ЦонфигуредФаиловерПрокиПровидер дфс.ха.аутоматиц-фаиловер.енаблед труе ха.зоокеепер .куорум нн1.цлустер.цом:2181,нн2.цлустер.цом:2181,дн1.цлустер.цом:2181 дфс.ха.фенцинг.метходс ссхфенце дфс.ха.фенцинг.ссх.привате-кеи-филес / хоме / едурека /.ссх/ид_рса

Промените директоријум у зоокеепер'с цонф директоријум.

Команда : цд зоокеепер-3.4.6 / цонф

Зоокеепер Цонф директоријум.

У директоријуму цонф имате датотеку зоо_сампле.цфг, креирајте зоо.цфг помоћу датотеке зоо_сампле.цфг.

Команда : цп зоо_сампле.цфг зоо.цфг

Направите зоо.цфг датотеку.

Креирајте директоријум на било којој локацији и користите овај директоријум за чување података чувара зоолошких вртова.

Команда : мкдир

Направите директоријум за чување података чувара зоолошких вртова.

Отворите датотеку зоо.цфг.

Команда : гедит зоо.цфг

Додајте својство директоријума креирано у горњем кораку у својство датаДир и додајте доње детаље у вези са преосталим чвором у датотеку зоо.цфг.

Сервер.1 = нн1.цлустер.цом: 2888: 3888

Сервер.2 = нн2.цлустер.цом: 2888: 3888

Сервер.3 = дн1.цлустер.цом: 2888: 3888

Измените датотеку зоо.цфг.

Сада копирајте Јава и Хадооп-2.6.0, зоокеепер-3.4.6 директоријуме и .басхрц датотеку на све чворове (чвор имена у стању приправности, чвор података) помоћу наредбе сцп.

Команда : сцп –р едурека @:

Копирајте датотеку Хадооп, Зоокеепер и .басхрц на све чворове.

Слично томе, копирајте .басхрц датотеку и директоријум зоокеепер на све чворове и промените променљиве окружења у сваком према одговарајућем чвору.

У чвору података креирајте било који директоријум у коме треба да складиштите ХДФС блокове.

У чвор података морате додати својства дфс.датаноде.дата.дир.

У мом случају сам створио датаноде директоријум за чување блокова.

Направите директоријум Датаноде.

Промените дозволу за директоријум чвора података.

Промените дозволу директорија Датаноде.

Отворите датотеку ХДФС-сите.кмл, додајте ову путању директоријума Датаноде у својство дфс.датаноде.дата.дир.

Напомена: Задржите сва својства која су копирана из активне наменоде, додајте дфс.датаноде.дата.дир једно својство издвајања у наменоде.

дфс.датаноде.дата.дир / хоме / едурека / ХА / дата / датаноде

У програму Ацтиве наменоде промените директоријум где желите да сачувате конфигурациону датотеку зоокеепер (стаза својства датаДир).

Направите миид датотеку у директоријуму и додајте нумерички 1 у датотеку и сачувајте датотеку.

Команда : ви миид

Направите миид датотеку.

У стању приправности наменоде промените директоријум где желите да сачувате конфигурациону датотеку зоокеепер (стаза својства датаДир).

Креирајте миид датотеку у директоријуму и додајте јој нумерички 2 и сачувајте датотеку.

У чвору података промените директоријум где желите да сачувате конфигурациону датотеку зоокеепер (стаза својства датаДир).

Направите миид датотеку у директоријуму и додајте нумерички 3 у датотеку и сачувајте датотеку.

Покрените Јоурналноде у сва три чвора.

Команда : хадооп-даемон.сх старт јоурналноде

стл сортирај ц ++

Покрените Јоурналноде.

Када унесете јпс наредбу, видјет ћете демон ЈоурналНоде у свим чворовима.

ФорматирајтеАктивна сврха.

Команда : ХДФС намењени -формат

Ацтиве НамеНоде формат.

Покрените Наменоде демон и Ацтиве Намедоде.

Команда : хадооп-даемон.сх почетна сврха

Покрените Наменоде.

Копирајте ХДФС мета податке из активног чвора имена у резервни наменоде.

Команда : ХДФС намењен -боотстрапСтандби

Копирајте ХДФС мета податке из активног чвора имена у приправни наменод.

Једном када покренете ову наредбу, добићете информације са ког чвора и локације мета подаци копирају и да ли се успешно копира или не.

Информације о детаљима активне намене.

Једном када се мета подаци копирају из активне наменоде у приправну наменоде, добићете поруку приказану испод на снимку екрана.

Информације у вези са ХДФС-ом ​​у стању приправности Наменоде.

Покрените наменоде демон у стању приправности наменоде машине.

Команда : хадооп-даемон.сх почетна сврха

Сада покрените услугу Зоокеепер у сва три чвора.

Команда : зкСервер.сх старт (покрените ову наредбу у свим чворовима)

У активну сврху:

Покрените чувара зоолошког врта у Ацтиве НамеНоде.

У стању приправности Наменоде:

Покрените чувара зоолошког врта у стању приправности НамеНоде.

У чвору података:

Покрените чувара зоолошког врта у ДатаНоде.

Након покретања сервера Зоокеепер, унесите ЈПС наредбу. У свим чворовима видећете услугу КуорумПеерМаин.

Покрените демон чвора података у машини чвора података.

Команда : хадооп-даемон.сх старт датаноде

Покрените Зоокеепер неуспех преко контролера у активном чвору имена и чвору имена у стању приправности.

Форматирајте неуспех зоокеепер-а преко контролера у Ацтиве наменоде.

Команда: ХДФС зкфц –форматЗК

Формат ЗКФЦ.

Покрените ЗКФЦ у Ацтиве наменоде.

Команда : хадооп-даемон.сх старт зкфц

Унесите јпс наредбу да бисте проверили демоне ДФСЗкФаиловерЦонтроллер.

Покрените ЗКФЦ.

шта је метода скривање у јави

Форматирајте зоокеепер неуспех преко контролера у стању приправности наменоде.

Команда : хдфс зкфц –форматЗК

Покрените ЗКФЦ у стању приправности наменоде.

Команда : хадооп-даемон.сх старт зкфц

Унесите јпс наредбу да бисте проверили демоне ДФСЗкФаиловерЦонтроллер.

Сада проверите статус сваког Наменоде, који је чвор активан или који је у стању приправности помоћу наредбе у наставку.

Команда : хдфс хаадмин –гетСервицеСтате нн1

Проверите статус сваког НамеНоде.

Сада проверите статус сваког Наменоде помоћу веб прегледача.

Отворите веб прегледач и унесите УРЛ испод.

: 50070

Показаће да ли је чвор имена активан или у стању приправности.

Ацтиве НамеНоде.

Отворите детаље о чвору другог имена помоћу веб прегледача.

Име у стању приправности.

У активној наменоде, убијте демоноде наменоде да бисте променили чвор имена у стању приправности у активну наменоде.

Унесите јпс у Ацтиве наменоде и убијте демон.

Команда: судо килл -9

ИД процеса демона.

ИД процеса Наменоде је 7606, убијте наменоде.

Команда : Судо килл -9 7606

Убијте процес Чвор имена

Отворите два чвора путем веб прегледача и проверите статус.

Детаљи о наменодама.

Статус НамеНоде.

Честитамо, успешно сте подесили ХДФС кластер високе доступности у Хадооп-у.

Сад кад сте разумели архитектуру кластера високе доступности Хадооп, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250.000 задовољних ученика раширених широм света. Едурека курс за обуку сертификата за велике податке Хадооп помаже ученицима да постану стручњаци за ХДФС, предиво, МапРедуце, ​​свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, домену финансија.

Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.

виндов._ЛК_ = виндов._ЛК_ || {}

лкКуизМодал (прозор, документ, {куизИд: ’КСАИВп8 ′, басеУрл:’ хттпс: //куиз.леадкуиззес.цом/’,триггер: ’екит’}, _ЛК_)