У овом чланку о томе како створити Кластер Уз Амазон ЕМР видели бисмо како лако покретати и скалирати Хадооп и Биг Дата апликације. Следећи смерници ће бити обрађени у овом чланку,
Настављамо са овим Како створити Хадооп кластер са Амазон ЕМР?
Како створити Хадооп кластер са Амазон ЕМР?
Када нешто тражимо у Гоогле-у или Иахоо-у, одговор добијамо у делићу секунде. Како је могуће да Гоогле, Иахоо и други претраживачи тако брзо врате резултате са непрестано растуће мреже? Претраживачи претражују Интернет, преузимају веб странице и креирају индекс као што је приказано доле. За било који наш упит користе индекс да би открили које су све веб странице које садрже текст који смо тражили. Гледајући доњи индекс на десној страни, можемо јасно знати да Хадооп постоји тамо где се налазе странице 1, 2 и 3.
Затим ПагеРанкинг алгоритам користи се која се заснива на начину повезивања страница да би се утврдило коју страницу приказати на врху, а коју на дну. У доњем сценарију В1 је „најпопуларнији“, јер га сви повезују, а В4 је „најмање популаран“, као што нико не води до њега. Дакле, В1 је приказан на врху, а В4 на дну у резултатима претраге.
како зауставити програм у јави
Експлозијом веб страница ови претраживачи су проналазили изазове за креирање индекса и израчун израчунавања ПагеРанкинг. Овде се родило Хадооп у Иахоо-у, а касније је постало ФОСС (бесплатни и софтвер отвореног кода) у оквиру АСФ (Апацхе Софтваре Фоундатион). Једном под АСФ-ом, многе компаније су почеле да се интересују за Хадооп и почеле су да доприносе његовом побољшању. Хадооп је био тај који је започео револуцију великих података, али многи други софтвери попут Спарк, Хиве, Пиг, Скооп, Зоокеепер, ХБасе, Цассандра, Флуме почели су да се развијају како би решили ограничења и празнине у Хадооп-у.
Веб претраживачи су први користили Хадооп, али касније је много случајева коришћења почело да се развија како се генерише све више података. Узмимо пример примене е-трговине која се користи за препоручивање књига кориснику. Према доњем дијаграму, корисник1 је купио књиге1, књигу2 и књигу3, корисник2 је купио неке књиге и тако даље. Ако пажљиво погледамо, можемо приметити да корисник1 и корисник2 имају сличан укус као што су купили боок1 и боок2. Дакле, боок3 се може препоручити кориснику2, а боок4 може се препоручити кориснику1. Ово се назива колаборативно филтрирање, врста алгоритма машинског учења. Можемо окренути доњи дијаграм и добити сличне књиге.
У горе наведеном случају креирали смо индекс, ПагеРанкед и препоручили кориснику, величина података је била мала и тако смо могли да визуализујемо податке и из њих извучемо неке резултате. Како се величина података повећава из дана у дан и измиче контроли, ту се појављују алати за велике податке попут Хадооп-а.
Хадооп решава много проблема, али инсталирање Хадооп-а и другог софтвера за велике податке никада није био лак задатак. Постоји много конфигурационих параметара за подешавање, попут интеграције, инсталације и проблема са конфигурацијом за рад. Овде компаније попут Цлоудера, и Датабрицкс помажу. Олакшавају инсталирање софтвера Биг Дата и пружају комерцијалну подршку, на пример, рецимо да се нешто догоди у производњи. Амазон ЕМР (Еластиц МапРедуце) олакшава коришћење Хадооп-а итд. Назив Еластиц МапРедуце помало је погрешно именован, јер ЕМР подржава и друге дистрибуиране рачунарске моделе као што су Ресилиент Дистрибутед Датасетс, а не само МапРедуце.
У овом упутству ћемо истражити како да подесимо ЕМР кластер на АВС Цлоуд-у, а у предстојећем упутству ћемо истражити како покретати Спарк, Хиве и друге програме на њему.
Настављамо са овим Како створити Хадооп кластер са Амазон ЕМР?
Демо: Стварање ЕМР кластера у АВС-у
Корак 1: Идите на ЕМР Манагемент Цонсоле и кликните на „Цреате цлустер“. У конзоли су метаподаци за окончани кластер такође се штеди два месеца бесплатно. Ово омогућава клонирање и поновно креирање завршеног кластера.
Корак 2 : На екрану брзих опција кликните на „Иди на напредне опције“ да бисте навели много више детаља о кластеру.
Корак 3: На картици Напредне опције можемо одабрати различити софтвер који ће се инсталирати на ЕМР кластер. За СКЛ интерфејс може се одабрати Хиве. За интерфејс језика протока података може се одабрати Пиг. За дистрибуцију координације апликација може се изабрати ЗооКеепер и тако даље. Ова картица такође нам омогућава додавање корака, што је опциони задатак. Кораци су послови обраде великих података помоћу МапРедуце, Пиг, Хиве итд. Они се могу додати на ову картицу или касније када се кластер креира. Кликните на „Даље“ да бисте одабрали хардвер потребан за ЕМР кластер.
Корак 4: Хадооп следи архитектуру мастер-воркер, где мастер обавља све координације попут распоређивања и додељивања посла и провере њиховог напретка, док радници раде стварни посао обраде и чувања података. Један мастер је Сингле-Поинт-Оф-Фаилуре (СПОФ). Амазон ЕМР подржава мулти-мастер за високу доступност (ХА). Претходни корак омогућава подешавање мулти-мастер кластера у ЕМР-у.
ЕМР омогућава две врсте чворова, Цоре и Таск. Језгро језгра се користи и за обраду и за складиштење података, а чвор задатака се користи само за обраду података. За овај водич можемо одабрати само једно језгро и ниједан чвор задатака, јер за нас укључује мање трошкова. Такође, одаберите Спот инстанце готово На захтев јер су Спот примери јефтинији. Квака код инстанци Спот је у томе што их АВС може аутоматски прекинути помоћу а обавештење од два минута . Ово је у реду због праксе, а такође иу неким стварним сценаријима. Спот инстанце се аутоматски прекидају јер имају низак приоритет у односу на друге типове инстанце. Кликните на „Нект“.
Корак 5: Наведите име кластера. и кликните на „Нект“. Приметите да је „Заштита од прекида“ подразумевано укључена, ово осигурава да ЕМР кластер не буде случајно избрисан увођењем неколико корака током прекида кластера.
Корак 6: На картици су наведене различите безбедносне опције за ЕМР кластер. КеиПаир мора бити изабран за пријављивање у инстанцу ЕЦ2. ЕМР ће аутоматски створити одговарајуће улоге и безбедносне групе и придружити их главном и радном ЕЦ2 чворовима. Кликните на „Направи кластер“.
Стварање кластера траје неколико минута јер се инстанце ЕЦ2 морају откупити и различити софтвери за велике податке морају бити инсталирани и конфигурисани. У почетку би статус кластера био у стању „Покретање“ и прелазак у стање „Чекање“. У стању „Чека“ ЕМР кластер једноставно чека да пошаљемо различите послове обраде великих података као што су МР, Спарк, Хиве итд.
Такође, обавестите из ЕЦ2 управљачке конзоле и имајте на уму да инстанце ЕЦ2 главног и радничког треба да буду у радном стању. То су Спот инстанце које су креиране као део стварања ЕМР кластера. Исти ЕЦ2 се може приметити и са картице Хардвер у ЕМР управљачкој конзоли. Имајте на уму да је на картици Хардвер цена за примере Спот ЕЦ2 наведена као 0,032 $ / сат. Цена примерака Спот се мења с временом и много је нижа од цене на захтев ЕЦ2 на захтев.
јава избаци из методе
Корак 7: Сада када је ЕМР кластер успешно додат, могу се додати кораци или задаци обраде великих података. Идите на картицу Кораци и кликните на „Додај корак“ и одаберите врсту корака (МР, кошница, варница итд.). Исто ћемо истражити у предстојећем водичу. За сада кликните на Откажи.
Корак 8: Сад кад смо видели како да покренемо ЕМР, погледајмо како да зауставимо исти.
Корак 8.1: Кликните на Прекини.
Корак 8.2: Као што је поменуто у претходним корацима, „Заштита од прекида“ је за ЕМР кластер укључена и дугме Прекини је онемогућено. Кликните на Цханге.
Корак 8.3: Изаберите радио дугме „Искључено“ и кликните на ознаку. Сада би требало да буде омогућено дугме Прекини. Ово је додатни корак који је ЕМР увео само да би се осигурало да случајно не избришемо ЕМР кластер.
Приметите да ће ЕМР кластер бити у статусу завршетка и да ће ЕЦ2 бити укинути. Коначно, ЕМР кластер ће бити премештен у статус Прекинута, одавде наша наплата са АВС-ом престаје. Обавезно прекините кластер, како не бисте настали додатни АВС трошкови.
Закључак
У овом упутству видели смо како покренути ЕМР кластер у року од неколико минута од веб конзоле (прегледача), исто се може аутоматизовати помоћу , АВС СДК или помоћу АВС ЦлоудФорматион . Као што је примећено постављање ЕМР кластера може се извршити, питање је минута и обрада великих података може се започети одмах, након што се обрада заврши, излаз се може сачувати у С3 или ДинамоДБ и тако искључење кластера да би се зауставио обрачун. Због овог модела цена и једноставности употребе, ЕМР је велики хит код оних који се баве обрадом великих података. Нема потребе да купујете сервер у огромном броју, да бисте добили лиценце за софтвер Биг Дата и одржавали их. '
Дакле, то је то, момци, ово нас доводи до краја овог чланка о Како створити Хадооп кластер са Амазон ЕМР?У случају да желите да стекнете стручност у овој теми, Едурека је смислила наставни план и програм који тачно покрива оно што би вам требало да бисте положили испит за архитектуре решења! Можете погледати детаље курса за обука.
како користити гото у питхон-у
У случају било каквих питања везаних за овај блог, слободно поставите питање у одељак за коментаре у наставку и радо бисмо вам одговорили најраније.