Апацхе Хиве је пакет за складиштење података изграђен на врху Хадооп-а и користи се за анализу података. Хиве је усмерен на кориснике који су задовољни СКЛ-ом. Сличан је СКЛ-у и назива се ХивеКЛ, користи се за управљање и испитивање структурираних података. Апацхе Хиве се користи за апстрактну сложеност Хадооп-а. Овај језик такође омогућава традиционалним програмерима за мапирање / редукцију да прикључе своје прилагођене мапе и редукторе. Популарна карактеристика Хиве-а је да нема потребе за учењем Јаве.
пхп претвара објекат у низ
Хиве, отворени извор пета-бајтног оквира за складиштење датума, заснован на Хадооп-у, развио је тим за инфраструктуру података на Фацебоок-у. Хиве је такође једна од технологија која се користи за решавање захтева на Фацебоок-у. Хиве је веома популаран код свих интерних корисника на Фацебоок-у и користи се за покретање хиљада послова на кластеру са стотинама корисника, за широку палету апликација. Кластер Хиве-Хадооп на Фацебоок-у складишти више од 2ПБ сирових података и редовно свакодневно учитава 15 ТБ података.
Погледајмо неке од његових карактеристика због којих је популаран и лак за употребу:
- Омогућава програмерима да прикључе прилагођене Маппере и Редуцере.
- Има инфраструктуру складишта података.
- Пружа алате за омогућавање једноставних података о ЕТЛ-у.
- Дефинише СКЛ језик упита попут КЛ.
Случај употребе Апацхе Хиве - Фацебоок:
Пре него што је применио Хиве, Фацебоок се суочио са многим изазовима јер се величина података који су генерисани повећавала или експлодирала, што је отежавало руковање њима. Традиционални РДБМС није могао да поднесе притисак и као резултат тога Фацебоок је тражио боље опције. Да би решио ово предстојеће питање, Фацебоок је у почетку покушао да користи Хадооп МапРедуце, али је са потешкоћама у програмирању и обавезним знањем у СКЛ-у учинио то непрактичним решењем. Кошница им је омогућила да превазиђу изазове са којима су се суочавали.
Са Хиве-ом сада могу да изврше следеће:
- Столови се могу делити и спаковати
- Флексибилност и еволуција шеме
- Доступни су ЈДБЦ / ОДБЦ управљачки програми
- Табеле кошница могу се дефинисати директно у ХДФС-у
- Прошириво - типови, формати, функције и скрипте
Случај употребе кошнице у здравству:
Где користити кошницу?
Апацхе Хиве се може користити на следећим местима:
- Претрага података
- Обрада дневника
- Индексирање докумената
- Суочавање купаца са пословном интелигенцијом
- Предиктивно моделирање
- Хипотеза тестирање
Архитектура кошница:
Кошница се састоји од следећих главних компоненти:
- Метасторе - За чување метаподатака.
- ЈДБЦ / ОДБЦ - Компајлер упита и извршни механизам за претварање СКЛ упита у низ МапРедуце.
- СерДе и ОбјецтИнспецторс - За формате и типове података.
- УДФ / УДАФ - за функције које дефинише корисник.
- Клијенти - Слично МиСКЛ командној линији и веб корисничком интерфејсу.
Компоненте кошнице:
Метасторе:
Метасторе складишти информације о табелама, партицијама, колонама унутар табела. Постоје 3 начина складиштења у Метасторе-у: уграђена метастора, локална метастара и удаљена метастора. Углавном ће се Ремоте Метасторе користити у производном режиму.
Ограничења кошнице:
Кошница има следећа ограничења и не може се користити у таквим околностима:
- Није дизајниран за обраду трансакција на мрежи.
- Пружа прихватљиво кашњење за интерактивно прегледање података.
- Не нуди упите у реалном времену и ажурирања на нивоу редова.
- Латенција за упите о кошници је генерално врло велика.
Имате питање за нас? Спомените их у одељку за коментаре и јавићемо вам се.
Повезани постови:
шта је пасуљ у јави