МонгоДБ са Хадооп-ом и сродним технологијама великих података



МонгоДБ са Хадооп-ом и сродним технологијама великих података је моћна комбинација која пружа решење за сложену ситуацију у аналитици.

Релационе базе података дуго су биле довољне за руковање малим или средњим скуповима података. Али огромна брзина којом подаци расту чине традиционални приступ складиштењу и преузимању података неизводљивим. Овај проблем решавају новије технологије које могу да обрађују велике податке. Хадооп, Хиве и Хбасе су популарне платформе за управљање овом врстом великих скупова података. НоСКЛ или не само СКЛ базе података као што је МонгоДБ пружају механизам за чување и преузимање података у моделу доследности губитника са предностима попут:

  • Хоризонтално скалирање
  • Већа доступност
  • Бржи приступ

МонгоДБ инжењерски тим недавно је ажурирао МонгоДБ конектор за Хадооп како би имао бољу интеграцију. Ово корисницима Хадооп-а олакшава:





  • Интегришите податке из МонгоДБ-а у реалном времену са Хадооп-ом за дубоку аналитику ван мреже.
  • Конектор излаже аналитичку снагу Хадооп-овог МапРедуцеа активним подацима апликације из МонгоДБ-а, возећи брже и ефикасније вредности великих података.
  • Конектор представља МонгоДБ као систем датотека компатибилан са Хадооп-ом, омогућавајући МапРедуце-у да чита из МонгоДБ-а директно, без да га је претходно копирао у ХДФС (Хадооп-ов систем датотека), чиме уклања потребу за премештањем терабајта података широм мреже.
  • Послови МапРедуце-а могу проследити упите као филтере, избегавајући потребу за скенирањем читавих колекција, а такође могу искористити богате могућности индексирања МонгоДБ-а, укључујући геопросторне, текстуалне претраге, низове, сложене и ретке индексе.
  • Читајући са МонгоДБ-а, резултати послова Хадооп-а могу се такође исписати на МонгоДБ, како би подржали оперативне процесе у реалном времену и ад-хоц упите.

Случајеви употребе Хадооп-а и МонгоДБ-а:

Погледајмо опис на високом нивоу како се МонгоДБ и Хадооп могу уклопити у типичан низ података. Првенствено имамо:

  • МонгоДБ се користи као „Оперативно“ складиште података у реалном времену
  • Хадооп фор офлајн групна обрада и анализа података

Читајте даље да бисте знали зашто и како су МонгоДБ користиле компаније и организације као што су Аадхар, Схуттерфли, Метлифе и еБаи .



Примена МонгоДБ-а са Хадооп-ом у групном агрегирању:

У већини сценарија уграђена функционалност агрегације коју пружа МонгоДБ довољна је за анализу података. Међутим, у одређеним случајевима може бити потребно знатно сложеније прикупљање података. Овде Хадооп може пружити моћан оквир за сложену аналитику.

пл скл водич за програмере за почетнике

У овом сценарију:

  • Подаци се извлаче из МонгоДБ-а и обрађују у Хадоопу путем једног или више послова МапРедуце. Подаци се такође могу добити из других места у оквиру ових МапРедуце задатака да би се развило решење за више података.
  • Излаз из ових задатака МапРедуце може се затим поново послати у МонгоДБ за накнадно постављање упита и за било какву анализу на ад-хоц основи.
  • Апликације изграђене на врху МонгоДБ-а могу зато да користе информације из групне аналитике да би их представиле крајњем клијенту или да би омогућиле друге низводне функције.

Хадооп Монго ДБ агрегација



шта је скенер у јави

Примена у складиштењу података:

У типичном производном подешавању, подаци апликације могу се налазити у више складишта података, од којих свака има свој језик упита и функционалност. Да би смањио сложеност у овим сценаријима, Хадооп се може користити као складиште података и деловати као централизовано спремиште за податке из различитих извора.

У овој врсти сценарија:

  • Периодични МапРедуце задаци учитавају податке из МонгоДБ-а у Хадооп.
  • Када подаци из МонгоДБ-а и других извора буду доступни у Хадооп-у, може се тражити већи скуп података.
  • Аналитичари података сада имају могућност да користе МапРедуце или Пиг за стварање послова који траже веће скупове података који укључују податке из МонгоДБ-а.

Тим који ради иза МонгоДБ-а осигурао је да је својом богатом интеграцијом са технологијама великих података попут Хадооп-а способан да се добро интегрише у Биг Дата Стацк и помогне у решавању неких сложених архитектонских проблема када је реч о складиштењу, преузимању, обради, обједињавању и складиштењу података . Пратите нас за наш предстојећи пост о изгледима за каријеру за оне који се придруже Хадоопу са МонгоДБ-ом. Ако већ радите са Хадооп-ом или само преузимате МонгоДБ, погледајте курсеве које нудимо за МонгоДБ