Релационе базе података дуго су биле довољне за руковање малим или средњим скуповима података. Али огромна брзина којом подаци расту чине традиционални приступ складиштењу и преузимању података неизводљивим. Овај проблем решавају новије технологије које могу да обрађују велике податке. Хадооп, Хиве и Хбасе су популарне платформе за управљање овом врстом великих скупова података. НоСКЛ или не само СКЛ базе података као што је МонгоДБ пружају механизам за чување и преузимање података у моделу доследности губитника са предностима попут:
- Хоризонтално скалирање
- Већа доступност
- Бржи приступ
МонгоДБ инжењерски тим недавно је ажурирао МонгоДБ конектор за Хадооп како би имао бољу интеграцију. Ово корисницима Хадооп-а олакшава:
- Интегришите податке из МонгоДБ-а у реалном времену са Хадооп-ом за дубоку аналитику ван мреже.
- Конектор излаже аналитичку снагу Хадооп-овог МапРедуцеа активним подацима апликације из МонгоДБ-а, возећи брже и ефикасније вредности великих података.
- Конектор представља МонгоДБ као систем датотека компатибилан са Хадооп-ом, омогућавајући МапРедуце-у да чита из МонгоДБ-а директно, без да га је претходно копирао у ХДФС (Хадооп-ов систем датотека), чиме уклања потребу за премештањем терабајта података широм мреже.
- Послови МапРедуце-а могу проследити упите као филтере, избегавајући потребу за скенирањем читавих колекција, а такође могу искористити богате могућности индексирања МонгоДБ-а, укључујући геопросторне, текстуалне претраге, низове, сложене и ретке индексе.
- Читајући са МонгоДБ-а, резултати послова Хадооп-а могу се такође исписати на МонгоДБ, како би подржали оперативне процесе у реалном времену и ад-хоц упите.
Случајеви употребе Хадооп-а и МонгоДБ-а:
Погледајмо опис на високом нивоу како се МонгоДБ и Хадооп могу уклопити у типичан низ података. Првенствено имамо:
- МонгоДБ се користи као „Оперативно“ складиште података у реалном времену
- Хадооп фор офлајн групна обрада и анализа података
Читајте даље да бисте знали зашто и како су МонгоДБ користиле компаније и организације као што су Аадхар, Схуттерфли, Метлифе и еБаи .
Примена МонгоДБ-а са Хадооп-ом у групном агрегирању:
У већини сценарија уграђена функционалност агрегације коју пружа МонгоДБ довољна је за анализу података. Међутим, у одређеним случајевима може бити потребно знатно сложеније прикупљање података. Овде Хадооп може пружити моћан оквир за сложену аналитику.
пл скл водич за програмере за почетнике
У овом сценарију:
- Подаци се извлаче из МонгоДБ-а и обрађују у Хадоопу путем једног или више послова МапРедуце. Подаци се такође могу добити из других места у оквиру ових МапРедуце задатака да би се развило решење за више података.
- Излаз из ових задатака МапРедуце може се затим поново послати у МонгоДБ за накнадно постављање упита и за било какву анализу на ад-хоц основи.
- Апликације изграђене на врху МонгоДБ-а могу зато да користе информације из групне аналитике да би их представиле крајњем клијенту или да би омогућиле друге низводне функције.
шта је скенер у јави
Примена у складиштењу података:
У типичном производном подешавању, подаци апликације могу се налазити у више складишта података, од којих свака има свој језик упита и функционалност. Да би смањио сложеност у овим сценаријима, Хадооп се може користити као складиште података и деловати као централизовано спремиште за податке из различитих извора.
У овој врсти сценарија:
- Периодични МапРедуце задаци учитавају податке из МонгоДБ-а у Хадооп.
- Када подаци из МонгоДБ-а и других извора буду доступни у Хадооп-у, може се тражити већи скуп података.
- Аналитичари података сада имају могућност да користе МапРедуце или Пиг за стварање послова који траже веће скупове података који укључују податке из МонгоДБ-а.
Тим који ради иза МонгоДБ-а осигурао је да је својом богатом интеграцијом са технологијама великих података попут Хадооп-а способан да се добро интегрише у Биг Дата Стацк и помогне у решавању неких сложених архитектонских проблема када је реч о складиштењу, преузимању, обради, обједињавању и складиштењу података . Пратите нас за наш предстојећи пост о изгледима за каријеру за оне који се придруже Хадоопу са МонгоДБ-ом. Ако већ радите са Хадооп-ом или само преузимате МонгоДБ, погледајте курсеве које нудимо за МонгоДБ