Ово је накнадни пост са одговором на најчешће постављана питања током јавног вебинара од стране едурека! на .
Често постављана питања о Хадооп-у
Деепак:
Шта је Хадооп?
Апацхе Хадооп је софтверски оквир отвореног кода за складиштење и велику обраду скупова података на кластерима робног хардвера. То је софтверски оквир за управљање подацима отвореног кода са смањеним складиштењем и дистрибуираном обрадом. Изграђује га и користи глобална заједница сарадника и корисника.
Прочитајте више на нашем блогу Хадооп и .
Претрага:
Који су случајеви употребе великих података у путовањима, превозу и авио-индустрији?
Сунчан:
Можете ли нам упутити неки стварни узорак имплементације Хадооп-а који можемо проучити?
Ми смо ливиоду ери све веће гужве у вршним временима. Транспортни оператори непрестано настоје да пронађу исплативе начине за пружање својих услуга, а истовремено одржавају своју превозну флоту у добрим условима. Коришћење Аналитике великих података на овом домену може помоћи организацији у:
- Оптимизација руте
- Геопросторна аналитика
- Обрасци саобраћаја и загушења
- Одржавање имовине
- Управљање приходом (тј. Авио-компанија)
- Управљање залихама
- Очување горива
- Циљани маркетинг
- Верност купаца
- Предвиђање капацитета
- Перформансе и оптимизација мреже
Неколико случајева из стварног света су:
до) Утврђивање трошкова лета
б) Моделирање предвиђања за логистику залиха
ц) Орбитз широм света - обрасци за куповину купаца
д) Шест примена Хадооп-а супер скале
је) Хадооп - више него што додаје
ф) Хадооп у предузећу
Више о имплементацијама Хадооп-а у стварном свету можете сазнати на:
Хирдесх:
Да ли је Хадооп све о руковању и обради података? Како да користимо извештавање и визуелну аналитику. Да ли се Кликвиев, Таблеау може користити на врху Хадоопа?
Основне компоненте Хадооп-а ХДФС и МапРедуце односе се на чување и обраду података. ХДФС за складиштење и МапРедуце за обраду. Али основне компоненте Хадооп-а попут Пиг и Хиве користе се за аналитику. За табелу визуелних извештаја, КликВиев се може повезати са Хадооп-ом за визуелно извештавање.
Амит:
Хадооп Вс. монгоДБ
МонгоДБ се користи као „оперативно“ складиште података у реалном времену, док се Хадооп користи за офлајн групну обраду и анализу података.
монгоДБ је складиште података без шема оријентисано на документе које можете да користите у веб апликацији као позадину уместо РДБМС-а као што је МиСКЛ, док се Хадооп углавном користи као складиште за проширивање и дистрибуирана обрада велике количине података.
Прочитајте више на нашем пост на блогу монгоДБ и Хадооп .
Ево:
Да ли је Апацхе Спарк део Хадоопа ?
Апацхе Спарк је брз и општи мотор за обраду података великих размера. Спарк је бржи и подржава обраду у меморији. Мотор за извршавање варница проширује врсту рачунарских радних оптерећења које Хадооп може да поднесе и може да ради на Хадооп 2.0 ИАРН кластеру. То је систем оквира за обраду који омогућава складиштење објеката у меморији (РДД), заједно са способношћу обраде ових објеката помоћу затварача Сцала. Подржава Грапх, Варехоусе, Мацхине Леарнинг и Стреам обраду.
Ако имате Хадооп 2 кластер, можете да покренете Спарк без потребе за инсталацијом. Иначе, Спарк је лако покретати самостално или на ЕЦ2 или Месос. Може читати са ХДФС, ХБасе, Цассандре и било ког извора података Хадооп.
Прочитајте више на Спарк-у овде .
Прасад:
Шта је Апацхе Флуме?
Апацхе Флуме је дистрибуиран, поуздан и доступан систем за ефикасно прикупљање, обједињавање и премештање велике количине података дневника из многих различитих извора у централизовани извор података.
Амит:
СКЛ вс НО-СКЛ базе података
НоСКЛ базе података су базе података следеће генерације и углавном се баве неким тачкама
- нерелациони
- дистрибуиран
- отвореног кода
- хоризонтално скалабилно
Често се примењују више карактеристика, попут шеме, лака подршка за репликацију, једноставан АПИ, евентуално доследан / БАСЕ (не АЦИД), огромна количина података и још много тога. На пример, мало је диференцијатора:
- НоСКЛ базе података се хоризонтално повећавају, додајући више сервера за рад са већим оптерећењима. СКЛ базе података, с друге стране, обично се вертикално повећавају, додајући све више ресурса једном серверу како се повећава промет.
- СКЛ базе података захтевале су да дефинишете своје шеме пре додавања било каквих информација и података, али НоСКЛ базе података су без шема и не захтевају унапред дефинисање шеме.
- СКЛ базе података су табеле засноване на редовима и колонама пратећи РДБМС принципе, док су НоСКЛ базе података парови кључ / вредност, складишта графикона или широких колона.
- СКЛ базе података користе СКЛ (језик структурираних упита) за дефинисање и манипулисање подацима. У НоСКЛ бази података, упити се разликују од једне до друге базе података.
Популарне СКЛ базе података: МиСКЛ, Орацле, Постгрес и МС-СКЛ
Популарно НоСКЛ базе података: МонгоДБ, БигТабле, Редис, РавенДб, Цассандра, ХБасе, Нео4ј и ЦоуцхДБ
Прегледајте наше блогове на Хадооп и НоСКЛ базе података и предности једне такве базе података:
Котесварарао:
јава како се користи тостринг
Да ли Хадооп има уграђену технологију кластера?
Кластер Хадооп користи Мастер-Славе архитектуру. Састоји се од једног главног (НамеНоде) и кластера подређених (ДатаНодес) за складиштење и обраду података. Хадооп је дизајниран за рад на великом броју машина које не деле меморију или дискове. Ови чворови података су конфигурисани као кластер помоћу . Хадооп користи концепт репликације како би осигурао да бар једна копија података буде стално доступна у кластеру. Будући да постоји више копија података, подаци који се чувају на серверу који је ван мреже или умире могу се аутоматски копирати из познате добре копије.
Динесх:
Шта је посао у Хадоопу? Шта се све може постићи путем посла?
У Хадоопу, Јоб је програм МапРедуце за обраду / анализу података. Термин МапРедуце заправо се односи на два одвојена и различита задатка која Хадооп програми изводе. Први је задатак Мап, који узима скуп података и претвара их у други скуп посредних података, где се појединачни елементи рашчлањују у парове кључ / вредност. Други део задатка МапРедуце, задатак Смањи, узима излаз са мапе као улаз и комбинује парове кључ / вредност у мањи скуп агрегираног пара кључ / вредност. Као што подразумева секвенца имена МапРедуце, задатак Смањи се увек изводи након завршетка задатака Мапе. Прочитајте више на МапРедуце Јоб .
Сукрутх:
Шта је посебно у вези са НамеНоде ?
НамеНоде је срце ХДФС система датотека. Чува метаподатке као што је стабло директорија свих датотека у систему датотека и прати где се у кластеру чувају подаци о датотекама. Стварни подаци се чувају на ДатаНодес-има као ХДФС блокови.
Клијентске апликације разговарају са НамеНодеом кад год желе да пронађу датотеку или кад год желе да додају / копирају / премештају / бришу датотеку. НамеНоде одговара на успешне захтеве враћањем листе релевантних ДатаНодес сервера на којима подаци живе. Прочитајте више о ХДФС архитектури .
Динесх:
Када је Хадооп 2.0 представљен на тржишту?
Апацхе Софтваре Фоундатион (АСФ), група отвореног кода која управља развојем Хадооп-а, објавила је на свом блогу 15. октобра 2013. године да је Хадооп 2.0 сада опште доступан (ГА). Ова најава значи да су након дугог чекања Апацхе Хадооп 2.0 и ИАРН сада спремни за производњу. Више о Блог.
Динесх:
Који су ретки примери не-МапРедуце апликације за велике податке?
МапРедуце је одличан за многе апликације за решавање проблема са великим подацима, али не и за све друге моделе програмирања који боље одговарају захтевима као што су обрада графикона (нпр. Гоогле Прегел / Апацхе Гирапх) и итеративно моделирање са интерфејсом за прослеђивање порука (МПИ).
Марисх:
Како се подаци сређују и индексирају у ХДФС-у?
Подаци се разлажу на блокове од 64 МБ (могу се конфигурисати параметром) и чувају у ХДФС-у. НамеНоде чува информације о складиштењу ових блокова као ИД блока у својој РАМ меморији (метаподаци НамеНоде). Посао МапРедуце може приступити тим блоковима помоћу метаподатака који су сачувани у РАМ-у НамеНоде.
Схасхват:
шта су токени у јави
Да ли можемо користити МапРедуце (МРв1) и МРв2 (са ИАРН) на истом кластеру?
Хадооп 2.0 је представио нови оквир ИАРН за писање и извршавање различитих апликација на Хадооп-у. Дакле, ИАРН и МапРедуце су два различита концепта у Хадооп-у 2.0 и не би их требало мешати и користити наизменично. Право питање је „Да ли је могуће покренути и МРв1 и МРв2 на Хадооп 2.0 кластеру који омогућава ИАРН?“ Одговор на ово питање је 'Не' као да се Хадооп кластер може конфигурисати за покретање и МРв1 и МРв2, али може покретати само један скуп демона у било ком тренутку. Оба ова оквира на крају користе исте конфигурационе датотеке ( иарн-сите.кмл и мапред-сите.кмл ) за покретање демона, стога на Хадооп кластеру може бити омогућена само једна од две конфигурације.
Долл:
Која је разлика између МапРедуце следеће генерације (МРв2) и ПРЕЂЕ?
ПРЕЂА и следећа генерација МапРедуце (МРв2) су два различита концепта и технологије у Хадооп-у 2.0. ИАРН је софтверски оквир који се може користити за покретање не само МРв2 већ и других апликација. МРв2 је апликативни оквир написан помоћу ИАРН АПИ-а и ради у оквиру ИАРН-а.
Бхарат:
Да ли Хадооп 2.0 пружа повратну компатибилност за апликације Хадооп 1.к?
Неха:
Да ли миграција Хадооп 1.0 на 2.0 захтева тежак код апликације миграција?
Не, већина апликација развијених помоћу АПИ-ја „орг.апацхе.хадооп.мапред“ може да ради на ИАРН-у без икакве поновне компилације. ИАРН је бинарно компатибилан са МРв1 апликацијама и „бин / хадооп“ се може користити за подношење ових апликација на ИАРН. Прочитајте више о овоме овде .
Схерин:
Шта се дешава ако чвор Ресоурце Манагер откаже у Хадооп-у 2.0?
Почевши од Хадооп издања 2.4.0, доступна је и подршка за високу доступност за Ресоурце Манагер. РесоурцеМанагер користи Апацхе ЗооКеепер за преусмеравање. Када чвор Ресоурце Манагер закаже, секундарни чвор се може брзо опоравити путем стања кластера сачуваног у ЗооКеепер-у. РесоурцеМанагер, у случају прекида, поново покреће све апликације у реду и покренуте.
Саббирали:
Да ли Апацхеов Хадооп оквир ради на Цлоудера Хадооп?
Апацхе Хадооп је представљен 2005. године са основним механизмом за обраду МапРедуце који подржава дистрибуирану обраду великих оптерећења података ускладиштених у ХДФС-у. То је пројекат отвореног кода и има више дистрибуција (слично Линуку). Цлоудера Хадооп (ЦДХ) је једна од таквих дистрибуција Цлоудере. Остале сличне дистрибуције су ХортонВоркс, МапР, Мицрософт ХДИнсигхт, ИБМ ИнфоСпхере БигИнсигхтс итд.
Арулвадивел:
Постоји ли једноставан начин да инсталирам Хадооп на свој лаптоп и испробам миграцију Орацле базе података на Хадооп?
Можете почетак са ХортонВоркс Сандбок или Цлоудера Куицк ВМ на преносном рачунару (са најмање 4 ГБ РАМ-а и и3 или новијим процесором). Користите СКООП за премештање података из Орацле-а у Хадооп како је објашњено овде .
Бхабани:
Које су најбоље књиге доступне за учење Хадоопа?
Почети са Хадооп: Дефинитиван водич од Тома Вајта и Хадооп Оператионс написао Ериц Саммер.
Махендра:
Да ли постоји доступно читање за Хадооп 2.0 баш као и Хадооп коначни водич?
Прегледајте најновији долазак на полицама са књигама које је написао неколицина стваралаца Хадооп-а 2.0.
Пратите још питања у овој серији.