Са све већом потражњом за великим подацима, Апацхе Хадооп јеусрце револуције, променило је начин на који организујемо и израчунавамо податке. Потреба за организацијама да ускладе Хадооп са својим пословним потребама подстакла је појаву комерцијалних дистрибуција. Комерцијалне дистрибуције Хадооп-а обично су опремљене функцијама дизајнираним да поједноставе примену Хадооп-а. Цлоудера Хадооп Дистрибутион пружа прилагодљиву, флексибилну, интегрисану платформу која олакшава управљање брзо растућим количинама и разноврсним подацима у вашем предузећу.
У овом блогу о Цлоудера Хадооп Дистрибутион покриваћемо следеће теме:
Цлоудера Хадооп: Увод у Хадооп
Хадооп је Апацхеов оквир отвореног кода који чува и обрађује велике податке у дистрибуираном окружењуПрекокластер користећи једноставне моделе програмирања. Хадооп пружа паралелно рачунање поврх дистрибуиране меморије.Да бисте детаљније сазнали више о Хадооп-у можете се позвати на ово
Након овог кратког увода у Хадооп, дозволите ми да сада објасним различите типове Хадооп дистрибуције.
Цлоудера Хадооп: Хадооп дистрибуције
Будући да је Апацхе Хадооп отворени извор, многе компаније су развиле дистрибуције које превазилазе оригинални код отвореног кода. Ово је врло слично Линук дистрибуцијама као што су РедХат, Федора и Убунту. Свака од Линук дистрибуција подржава своје функционалности и функције попут усер-фриендли ГУИ у Убунтуу. Слично томе, црвени шешир је популаран у предузећима јер нуди подршку и такође нуди идеологију за измену било ког дела система по вољи. Ред Хат вас ослобађа проблема са компатибилношћу софтвера. Ово је обично велико питање за корисникекоји прелазе са Виндовс-а.
Исто тако, постоје 3 главна типа Хадооп дистрибуција које имају сопствени скуп функционалности и карактеристика и изграђене су под основним ХДФС-ом.
Цлоудера вс МапР вс Хортонворкс
Фиг: МапР вс Хортонворкс вс Цлоудера
Цлоудера Хадооп Дистрибутион
Цлоудера је тржишни тренд у простору Хадооп-а и први је који је пустио комерцијалну дистрибуцију Хадооп-а. Нуди консултантске услуге како би се премостила разлика између - „шта Апацхе Хадооп пружа“ и „онога што организацијама треба“.
Цлоудера Дистрибутион је:
- Брзо за посао : Од аналитике до науке о подацима и свега између тога, Цлоудера пружа перформансе које су вам потребне да бисте откључали потенцијал неограничених података.
- Чини Хадооп једноставним за управљање : Уз Цлоудера Манагер, аутоматизовани чаробњаци омогућавају вам брзу примену кластера, без обзира на размере или окружење за примену.
- Безбедно без компромиса: Удовољава строгим потребама за сигурношћу података и усклађеношћу података, не жртвујући пословну окретност. Цлоудера пружа интегрисани приступ безбедности и управљању подацима.
Хортон-Воркс Дистрибуција
Хортон-Воркс Дата Платформ (ХДП) је у потпуности платформа отвореног кода дизајнирана за управљање подацима из многих извора и формата. Платформа укључује разне Хадооп алате као што су Хадооп систем дистрибуираних датотека (ХДФС), МапРедуце, Зоокеепер, ХБасе, Пиг, Хиве и додатне компоненте.
Такође подржава функције попут:
- ХДП прави кошницу брже кроз свој нови пројекат Стингер.
- ХДП избегава закључавање добављача залагањем за рачвасту верзију Хадоопа.
- ХДП је фокусиран на побољшање употребљивости платформе Хадооп.
МапР Дистрибутион
МапР је добављач Хадооп решења фокусиран на платформу, баш као и ХортонВоркс и Цлоудера. МапР интегрише свој систем база података, познат као МапР-ДБ, док нуди услуге дистрибуције Хадооп. За МапР-ДБ се тврди да је четири до седам пута бржи од основне Хадооп базе података, тј. ХБасе, која се извршава у другим дистрибуцијама.
Има своје интригантне карактеристике попут:
- То је једина Хадооп дистрибуција која укључује Пиг, Хиве и Скооп без икаквих Јава зависности - јер се ослања на МапР-Филе Систем.
- МапР је најпродуктивнија Хадооп дистрибуција са многим побољшањима која је чине једноставнијом за употребу, бржом и поузданијом.
Хајде сада да детаљно разговарамо о дистрибуцији Цлоудера Хадооп.
Претплатите се на наш ИоуТубе канал да бисте добијали нова ажурирања ...
Цлоудера Хадооп: Дистрибуција Цлоудера
Цлоудера је најпознатији играч на простору Хадооп-а који је објавио прву комерцијалну дистрибуцију Хадооп-а.
Фиг: Цлоудера Хадооп Дистрибутион
Цлоудера Хадооп Дистрибутион подржава следећи скуп функција:
- Цлоудера'с ЦДХ садржи све компоненте отвореног кода, циља примене класе предузећа и једна је од најпопуларнијих комерцијалних дистрибуција Хадооп-а.
- Позната по својим иновацијама, Цлоудера је прва понудила СКЛ-за-Хадооп са својим Импала мотор за упите.
- Конзола за управљање - Цлоудера Манагер , једноставан је за употребу и примену са богатим корисничким интерфејсом који приказује све информације о кластеру на организован и чист начин.
- У ЦДХ можете да додате услуге кластеру који ради и који ради и без ометања.
- Остали додаци Цлоудере укључују сигурност, кориснички интерфејс и интерфејсе за интеграцију са независним апликацијама.
- ЦДХ пружа Предлошци чворова тј. омогућава стварање групе чворова у Хадооп кластеру различите конфигурације. Искорењује употребу исте конфигурације кроз Хадооп кластер.
- Такође подржава:
- Поузданост
Продавачи Хадооп-а одмах реагују кад год се открије грешка. Са намером да комерцијална решења учине стабилнијим, закрпе и поправци се примењују одмах. Подршка
Продавачи Цлоудера Хадооп пружају техничка упутства и помоћ која купцима олакшава усвајање Хадооп-а за задатке на нивоу предузећа и критичне апликације.Комплетност
Хадооп добављачи повезују своје дистрибуције са разним другим додацима, који помажу купцима да прилагоде Хадооп апликацију како би се бавили њиховим специфичним задацима.
- Поузданост
Цлоудера дистрибуције имају 2 различита типа издања.
- Цлоудера Екпресс Едитион
- Цлоудера Ентерприсе Едитион
Погледајмо сада разлике између њих.
| Карактеристике | Цлоудера-Екпресс | Цлоудера-Ентерприсе |
| Управљање кластерима | ||
| 1. Управљање више кластера | да | да |
| 2. Управљање ресурсима | да | да |
| Распоређивање | ||
| 1. Подршка за ЦДХ 4 и 5 | да | да |
| 2. Текућа надоградња ЦДХ | Не | да |
| Управљање услугама и конфигурацијама | ||
| 1. Управљајте услугама ХДФС, МапРедуце, ИАРН, Импала, ХБасе, Хиве, Хуе, Оозие, Зоокеепер, Солр, Спарк и Аццумуло | да | да |
| 2. Покретање поновног покретања услуга | Не | да |
| Сигурност | ||
| 1. ЛДАП аутентификација | Не | да |
| 2. САМЛ аутентификација | Не | да |
| Надгледање и дијагностика | ||
| 1. Историја здравља | да | да |
| Управљање упозорењима | ||
| 1. Упозорење путем е-поште | да | да |
| 2. Упозорење путем СНМП-а | Не | да |
| Напредне функције управљања | ||
| 1. Аутоматско прављење резервних копија и опоравак | Не | да |
| 2. Прегледавање и претраживање датотека | Не | да |
| 3. МапРедуце, Импала, ХБасе, извештаји о употреби предива | Не | да |
Цлоудера Хадооп: менаџер Цлоудера
Према Цлоудери, Цлоудера Манагер је најбољи начин за то инсталирај , конфигурисати , управљати , и монитор стог Хадооп.
Обезбеђује:
- Аутоматизована примена и конфигурација
- Прилагодљиво праћење и извештавање
- Робусно решавање проблема без напора
- Нула - одржавање застоја
Стекните детаљно знање о Цлоудера Хадооп и разним алатима
Демонстрација менаџера Цлоудере
Истражимо Цлоудера Манагер.
1. Испод слике приказан је број услуга које су тренутно покренуте у програму Цлоудера Манагер. Такође можете погледати табеле о коришћењу ЦПУ кластера, употреби ИО диска итд.
Фиг: Почетна страница Цлоудера Манагер
2. Испод слике приказан је кластер ХБасе. Даће вам графиконе и графиконе о здравственом стању тренутно покренутог ХБасе РЕСТ сервера.
Слика: Здравствени услови ХБасе сервера
3. Сада, погледајмо картицу Инстанце кластера ХБасе где можете проверити статус и ИП конфигурацију.
Слика: Статус и ИП адреса Хост сервера ХБасе кластера
4. Затим имате картицу Конфигурација. Овде можете видети све конфигурационе параметре и променити њихове вредности.
Слика: Конфигурација ХБасе кластера
Хајде сада да схватимо шта су то Пакети у Цлоудери.
Цлоудера Хадооп: Пакети
Пакет је бинарни формат дистрибуције који садржи програмске датотеке, заједно са додатним метаподацима које користи Цлоудера Манагер.
Пакети су самостални и инсталирани су у верзионисаном директоријуму, што значи да се више верзија дате услуге може инсталирати упоредо.
Испод су предности коришћења парцеле:
Омогућава дистрибуцију ЦДХ-а као јединственог објекта, тј. Уместо да имају засебни пакет за сваки део ЦДХ-а, парцеле имају само један објекат за инсталирање.
Нуди интерну доследност (пошто се комплетни ЦДХ дистрибуира као један пакет, све компоненте ЦДХ се подударају и неће бити ризика да различити делови долазе из различитих верзија ЦДХ).
Пакете у ЦДХ можете инсталирати, надоградити, вратити на старију верзију, дистрибуирати и активирати помоћу неколико кликова.
Сада, да видимо како да инсталирамо и активирамо услугу Кафка у ЦДХ помоћу парцела.
- Идите на почетну страницу менаџера Цлоудера >> Домаћини >> Пакети као што је приказано доле
Слика: Избор пакета од домаћина
како рашчланити кмл у јави
2. Ако на листи пакета не видите Кафку, можете да додате пакет на листу.
- Пронађите пакет верзије Кафке који желите да користите. Ако га не видите, можете додати спремиште пакета на листу.
- Пронађите пакет за верзију Кафке коју желите да инсталирате - Цлоудера Дистрибуција верзија Апацхе Кафка .
Испод приказује слика која показује исто.
Слика: Стаза спремишта за пакет.
3. Копирајте везу као што је приказано на горњој слици и додајте је у Ремоте Парцел Репоситори, као што је приказано доле.
Слика: Додавање Кафкине путање из спремишта
како се користи цсс спритес
Четири.Након додавања путање, Кафка ће бити спреман за преузимање. Можете само да кликнете на дугме за преузимање и преузмете Кафку.
Сл: Преузимање Кафке
5. Једном када се Кафка преузме, све што треба да урадите је да га дистрибуирате и активирате.
Слика: Активирање Кафке
Једном када се активира, можете наставити и прегледати Кафку на картици услуга у менаџеру Цлоудера.
Сл: Кафка услуга
Цлоудера Хадооп: Стварање Оозие тока посла
Стварање тока посла ручним писањем КСМЛ кода и његовим извршењем је сложено. Можете ово упутити Заказивање Оозие посла блог, да бисте знали о традиционалном приступу.
Можете видети слику испод, где смо написали КСМЛ датотеку за стварање једноставног Оозие тока посла. Слика: Стварање Оозие тока посла користећи традиционални приступ
Као што видите, чак и да бисмо креирали једноставан Оозие планер, морали смо да напишемо огроман КСМЛ код који захтева пуно времена, а отклањање грешака у свакој линији постаје гломазно. Да би ово превазишао, Цлоудера Манагер је представио нову функцију под називом Нијанса који пружа ГУИ и једноставне функције превлачења и испуштања за креирање и извршавање Оозие токова посла.
Сада да видимо како Хуе извршава исти задатак на поједностављени начин.
Пре креирања тока посла, прво креирајмо улазне датотеке, тј. Цлицкстреам.ткт и усер.ткт.
У датотеци усер.ткт имамо кориснички ИД, име, старост, државу, пол као што је приказано доле. Ова корисничка датотека нам је потребна да бисмо знали колико корисника броји и кликова на УРЛ (поменут у датотеци тока кликова) на основу корисничког идентитета.
Слика: Креирање текстуалне датотеке
Да бисмо знали број кликова корисника на сваку УРЛ адресу, имамо ток кликова који садржи ИД корисника и УРЛ адресу.
Слика: Датотека Цлицкстреам
Напишимо упите у датотеку скрипте.
Слика: Датотека скрипте
Након што креирамо корисничку датотеку, датотеку стреама кликова и датотеку скрипте, можемо наставити и створити Оозие ток рада.
1. Можете једноставно повући и испустити Оозие ток рада као што је приказано на слици.
Слика: Повуците и испустите особину креирања Оозие тока посла
2. Убрзо након испуштања акције, морате одредити путање до датотеке скрипте и додати параметре поменуте у датотеци скрипте. Овде треба да додате параметре ОУТПУТ, ЦЛИЦКСТРЕАМ и УСЕР и одредите путању до сваког од параметара.
Слика: Додавање датотеке скрипте и потребних параметара за извршење акције
3. Након што наведете путање и додате параметре, сада једноставно сачувајте и пошаљите ток посла као што је приказано на доњој слици.
Слика: Чување и предавање Оозие акције
4. Једном када предате задатак, ваш посао је завршен. За извршење и остале кораке брине Хуе.
Слика: Статус извршења Оозие посла
5.Сада када смо извршили посао Оозие, погледајмо картицу радње. Садржи кориснички ИД и статус тока посла. Такође приказује кодове грешака ако постоје, време почетка и завршетка ставке радње.
Слика: Елементи присутни на картици радњи у Оозие току рада
6. Поред картице са акцијама налази се картица са детаљима. У овоме можемо видети време почетка и последње измењено време посла.
Слика: Детаљи о Оозие току рада.
7. Поред картице Детаљи, имамо картицу Конфигурација тока посла.
Слика: Конфигурациона подешавања Оозие тока посла
7. Током извршавања ставке радње, ако постоје грешке, она ће бити наведена на картици Дневник. Можете се позвати на изјаве о грешкама и у складу са тим исправити грешке.
Слика: Датотека евиденције која садржи кодове грешака и изјаве о грешкама
8. Ево КСМЛ кода тока посла који аутоматски генерише Хуе.
Слика: КСМЛ код Оозие процеса рада
9.1. Као што сте већ навели путању за излазни директоријум у кораку 2, овде имате излазни директоријум у ХДФС претраживачу као што је приказано доле.
Слика: Излазни директоријум ХДФС претраживача
9.2 Једном када кликнете на излазни директоријум, наћи ћете текстуалну датотеку која се назива оутпут.ткт и она садржи стварни излаз као што је приказано на доњој слици.
Слика: Завршни излазни текст
На овај начин Хуе олакшава наш рад пружајући опције превлачења и испуштања за стварање Оозие тока посла.
Надам се да је овај блог био користан за разумевање дистрибуције Цлоудера и различитих компоненти Цлоудера.
Желите ли да учествујете у револуцији великих података?Сад кад сте разумели Цлоудера Хадооп Дистрибутион, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250 000 задовољних ученика раширених широм света. Едурека курс за обуку сертификата за велике податке Хадооп помаже ученицима да постану стручњаци за ХДФС, предиво, МапРедуце, свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, домену финансија.
Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.