Инсталирајте Хадооп: Постављање једног чвора Хадооп кластера
Са наших претходних блогова даље , мора да имате теоретску идеју о Хадооп-у, ХДФС-у и његовој архитектури.Али да бисте добили треба вам добро практично знање.Надам се да би вам се свидео наш претходни блог , сада ћу вас провести кроз практично знање о Хадооп-у и ХДФС-у. Први корак напред је инсталирање Хадооп-а.
Постоје два начина за инсталирање Хадооп-а, тј. Појединачни чвор и Више чворова .
Кластер појединачних чворова означава само један ДатаНоде који се покреће и поставља све НамеНоде, ДатаНоде, РесоурцеМанагер и НодеМанагер на једној машини. Ово се користи у сврхе проучавања и тестирања. На пример, размотримо узорак скупа података унутар здравствене индустрије. Дакле, за тестирање да ли су Оозие послови заказали све процесе попут сакупљања, обједињавања, складиштења и обраде података у правилном низу, користимо кластер појединачних чворова. Може лако и ефикасно да тестира секвенцијални ток рада у мањем окружењу у поређењу са великим окружењима која садрже терабајте података распоређених на стотине машина.
Док је у Кластер више чворова , постоји више од једног ДатаНоде који се изводи и сваки ДатаНоде ради на различитим машинама. Кластер више чворова практично се користи у организацијама за анализу великих података. Узимајући у обзир горњи пример, у стварном времену када имамо посла са петабајтима података, они морају бити распоређени на стотине машина које ће бити обрађене. Дакле, овде користимо кластер са више чворова.
На овом блогу ћу вам показати како инсталирати Хадооп на кластер са једним чвором.
Предуслови
- ВИРТУАЛНА КУТИЈА : користи се за инсталирање оперативног система на њему.
- ОПЕРАТИВНИ СИСТЕМ : Можете инсталирати Хадооп на оперативни систем заснован на Линуку. Убунту и ЦентОС се врло често користе. У овом упутству користимо ЦентОС.
- ЈАВА : На свој систем морате инсталирати пакет Јава 8.
- ХАДООП : Потребан вам је пакет Хадооп 2.7.3.
Инсталирајте Хадооп
Корак 1: Кликните овде да бисте преузели пакет Јава 8. Сачувајте ову датотеку у свом кућном директоријуму.
Корак 2: Издвојите Јава Тар датотеку.
Команда : тар -квф јдк-8у101-линук-и586.тар.гз
Слика: Инсталација Хадооп - Издвајање Јава датотека
Корак 3: Преузмите пакет Хадооп 2.7.3.
Команда : вгет хттпс://арцхиве.апацхе.орг/дист/хадооп/цоре/хадооп-2.7.3/хадооп-2.7.3.тар.гз
Слика: Инсталација Хадооп-а - Преузимање Хадооп-а
Корак 4: Издвојите датотеку Хадооп тар.
Команда : тар -квф хадооп-2.7.3.тар.гз
Слика: Инсталација Хадооп-а - Издвајање Хадооп датотека
Корак 5: Додајте путање Хадооп и Јава у басх датотеку (.басхрц).
Отвори . басхрц датотека. Сада додајте Хадооп и Јава Патх као што је приказано испод.
Команда : ви .басхрц
Слика: Хадооп инсталација - подешавање променљиве околине
Затим спремите басх датотеку и затворите је.
За примену свих ових промена на тренутни Терминал, извршите изворну наредбу.
Команда : извор .басхрц
Слика: Хадооп инсталација - Освежавање променљивих околине
Да бисте били сигурни да су Јава и Хадооп правилно инсталирани на вашем систему и да им се може приступити путем терминала,кецуте наредбе јава -версион и хадооп верзије.
Команда : јава-верзија
Слика: Инсталација Хадооп - Провера Јава верзије
Команда : хадоопверзија
Слика: Инсталација Хадооп-а - Провера верзије Хадооп-а
Корак 6 : Измените .
Команда: цд хадооп-2.7.3 / етц / хадооп /
Команда: лс
Све датотеке конфигурације Хадооп налазе се у хадооп-2.7.3 / етц / хадооп директоријум као што можете видети на снимку испод:
поставите јава путању у прозорима
Слика: Инсталација Хадооп-а - Конфигурационе датотеке Хадооп-а
Корак 7 : Отвори цоре-сите.кмл и уредите доле поменуто својство унутар конфигурационе ознаке:
цоре-сите.кмл обавештава Хадооп демон где НамеНоде ради у кластеру. Садржи конфигурациона подешавања Хадооп језгра, попут И / О подешавања која су заједничка ХДФС-у и МапРедуце-у.
Команда : ви цоре-сите.кмл
Слика: Инсталација Хадооп-а - Конфигурисање цоре-сите.кмл
фс.дефаулт.наме хдфс: // лоцалхост: 9000
Корак 8: Уредити хдфс-сите.кмл и уредите доле поменуто својство унутар конфигурационе ознаке:
хдфс-сите.кмл садржи конфигурациона подешавања демона ХДФС (тј. НамеНоде, ДатаНоде, Сецондари НамеНоде). Такође укључује фактор репликације и величину блока ХДФС.
Команда : ви хдфс-сите.кмл
Слика: Инсталација Хадооп-а - Конфигурисање хдфс-сите.кмл
дфс.реплицатион 1 дфс.пермиссион фалсе
Корак 9 : Измените мапред-сите.кмл датотеку и уредите доле поменуто својство унутар конфигурацијске ознаке:
мапред-сите.кмл садржи конфигурациона подешавања апликације МапРедуце попут броја ЈВМ-а који могу радити паралелно, величине маппера и процеса редуктора, ЦПУ језгара доступних за процес итд.
У неким случајевима датотека мапред-сите.кмл није доступна. Дакле, морамо створити датотеку мапред-сите.кмлкористећи предложак мапред-сите.кмл.
Команда : цп мапред-сите.кмл.темплате мапред-сите.кмл
Команда : ми мапред-сајт.кмл.
Слика: Инсталација Хадооп-а - Конфигурисање мапред-сите.кмл
мапредуце.фрамеворк.наме предиво
Корак 10: Уредити иарн-сите.кмл и уредите доле поменуто својство унутар конфигурационе ознаке:
иарн-сите.кмл садржи конфигурациона подешавања РесоурцеМанагер-а и НодеМанагер-а попут величине управљања меморијом апликација, операција потребних за програм и алгоритам итд.
Команда : ви иарн-сите.кмл
Слика: Инсталација Хадооп - Конфигурисање иарн-сите.кмл
иарн.нодеманагер.аук-сервицес мапредуце_схуффле иарн.нодеманагер.ауксервицес.мапредуце.схуффле.цласс орг.апацхе.хадооп.мапред.СхуффлеХандлер
Корак 11: Уредити хадооп-енв.сх и додајте Јава путању као што је доле поменуто:
хадооп-енв.сх садржи променљиве окружења које се користе у скрипти за покретање Хадоопа попут Јава кућне путање итд.
Команда : ми хадооп-енв.сх
Слика: Инсталација Хадооп-а - Конфигурисање хадооп-енв.сх
Корак 12: Идите у Хадооп почетни директоријум и форматирајте НамеНоде.
Команда : ЦД
Команда : цд хадооп-2.7.3
Команда : бин / хадооп сврха -формат
Слика: Инсталација Хадооп - Форматирање НамеНоде
Ово форматира ХДФС преко НамеНоде. Ова наредба се извршава само први пут. Форматирање система датотека значи иницијализацију директорија наведеног променљивом дфс.наме.дир.
Никада немојте форматирати, покретати и покретати систем датотека Хадооп. Изгубићете све податке похрањене у ХДФС-у.
Корак 13: Једном када је НамеНоде форматиран, идите у хадооп-2.7.3 / сбин директоријум и покрените све демоне.
Команда: цд хадооп-2.7.3 / сбин
Или можете покренути све демоне једном командом или то учинити појединачно.
Команда: ./ старт-алл.сх
јава на моћ
Горња команда је комбинација старт-дфс.сх, старт-иарн.сх & мр-јобхистори-даемон.сх
Можете и појединачно да покренете све услуге као што је приказано у наставку:
Старт НамеНоде:
НамеНоде је средишњи део система датотека ХДФС. Чува стабло директорија свих датотека ускладиштених у ХДФС-у и прати сву датотеку ускладиштену преко кластера.
Команда: ./хадооп-даемон.сх почетна сврха
Слика: Инсталација Хадооп-а - Покретање НамеНоде
Старт ДатаНоде:
Приликом покретања, ДатаНоде се повезује са Наменодеом и он одговара на захтеве Наменодеа за различите операције.
Команда: ./хадооп-даемон.сх старт датаноде
Слика: Инсталација Хадооп-а - Покретање ДатаНоде
Покрените РесоурцеМанагер:
РесоурцеМанагер је мастер који арбитрира све доступне ресурсе кластера и на тај начин помаже у управљању дистрибуираним апликацијама покренутим на систему ИАРН. Његов рад је да управља сваким НодеМанагерима и АпплицатионМастер-ом сваке апликације.
Команда: ./пређа-даемон.сх покретање управитеља ресурса
Слика: Инсталација Хадооп-а - Покретање РесоурцеМанагер-а
Покрените НодеМанагер:
НодеМанагер у сваком машинском оквиру је агент који је одговоран за управљање контејнерима, надгледање њихове употребе ресурса и пријављивање истог РесоурцеМанагер-у.
Команда: ./пређа-даемон.сх старт нодеманагер
Слика: Инсталација Хадооп-а - Покретање НодеМанагер-а
Покрените ЈобХисториСервер:
ЈобХисториСервер је одговоран за сервисирање свих захтева клијента везаних за историју послова.
Команда : ./мр-јобхистори-даемон.сх покрени сервер за историју
Корак 14: Да бисте проверили да ли све услуге Хадооп раде и раде, покрените наредбу испод.
Команда: јпс
Слика: Инсталација Хадооп-а - Провера демона
Корак 15: Сада отворите претраживач Мозилла и идите на локални домаћин : 50070 / дфсхеалтх.хтмл да бисте проверили интерфејс НамеНоде.
Слика: Инсталација Хадооп-а - Покретање ВебУИ-а
Честитамо, успешно сте инсталирали један чвор Хадооп кластера у једном потезу.У нашем следећем блогу од , говорићемо и о томе како инсталирати Хадооп и на кластер са више чворова.
Сада када сте разумели како да инсталирате Хадооп, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250.000 задовољних ученика раширених широм света. Едурека курс обуке за сертификацију великих података помаже ученицима да постану стручњаци за ХДФС, предиво, МапРедуце, свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, финансијском домену.
Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.