Ако сте већ из ИТ индустрија , тога морате бити свесни Велики података је говор дана. Било да је реч о новим стартуп компанијама које имају иновативне пословне моделе или се ваше колеге придружују тим стартуп компанијама, из неког разлога, данашњим зеленије пашњаке чини се да је Велики података индустрија.
прослеђивање аргумената командне линије у јави
Ако се питате зашто, онда вам препоручујем да ово прочитате до краја, јер ово може бити самоистражујући блог који вас води до онога за шта сте предодређени.
Па, зашто све овоХИПЕкоји окружује ВЕЛИКИ ПОДАТАКА?
Да ли је то само још један домен који ће привремено искрцати избеглице из свих других домена? Или ће бити овде на дуге стазе?
Ако бих претпоставио, рекао бих да, не само да ће то бити на дуге стазе, већ ће индустрија великих података бити у епицентру технолошког напретка.
Јер све је окоПОДАЦИ!
Баш као и Сунцедиже сеодИстокисетовиуЗапад, континуирана употреба рачунарских / нерачунских уређаја резултираће изливом неуправљивих података.
Када ови подаци пређу праг, а њима рукује Екцел или било који други систем за управљање базама података, ми их називамо ВЕЛИКИ ПОДАТАКА .
Размислите, који сте последњи производ купили од Амазона? Који може бити следећи производ који бисте могли купити на основу прошлих активности? Одговори на таква питања чувају се у великим подацима.
Да ли постоји тренд раста иза производа? Или, постоји ли тренд опадања? Да ли ће купац купити „Чарапе“ када купи „Ципеле“? То су питања за решавање пословних проблема.
А, ова питања могу бити лако одговорио коришћењем Аналитика великих података .
На крају, каква је корист од података, а када нисте анализирајући то?
Дакле, то су и Велики подаципотпуно оАналитика?Не у потпуности, али Аналитика је крајња награда.
Остали главни токови у Биг Дата суСкладиштеиМенаџмент.
Овде ви као професионалац можете да допринесете. Можете преузети улогу било ког:
- Инжењер великих података
- Архитекта решења за велике податке
Уверите се да су велики подаци који се генеришу увек доступни и да се касније могу користити за аналитику. Дакле, ово нас доводи до питања & хеллип
Где се чувају велики подаци?
Може ли се чувати уЕкцел датотека? Може ли се чувати усистем релационих база података?
До ђавола не!
Да је могло, онда би било!
И да се сви заједно зову нечим другачијим. Можда нешто сличноЕкцел-ДатаилиРДБМС-подаци: Д
И то би нас вратило КОРАК 1 : - Зашто се великим подацима не може управљати помоћу Екцел-а? ЈерВелики подаци су превише врући да би Екцел могао да их користи. Па чак и други системи за управљање базама података.
Па, која је алтернатива?
За руковање великим подацима имамо ХАДООП . Можда сте свесни и ове речи. Али, можда се питате, како тачно то функционише?
За почетак, ХАДООП је производ одФондација АПАЦХЕ. Апацхе је америчка непрофитна организација која подржава развој софтвера отвореног кода.
Хадооп је дефинисан као програмски оквир заснован на Јави отвореног кода који подржава обраду и складиштење изузетно великих скупова података у дистрибуираном рачунарском окружењу.
Шта Хадооп може, а Екцел не?
Обрадите и разумејте неструктуриране податке!Са структурираним подацима који су у табеларном формату или на неки други начин може се лако поступати. Екцел то може, као и било који други РДБМС.
Али када се читљивост смањи, а подаци су неструктурирани, ту су велики подациалата попут Хадооп-арезултат. Пример неструктурираних података је сислог . Пример слике је испод.
Такви дневници се дефинитивно не могу користити помоћу програма Екцел.
Хадооп, попут алата за велике податке, може да разуме податке онакве какви јесу, ископавањем образаца и формирањем односа између различитих поља. А кад подаци једном добију релативни додир, јесуСпремно за аналитику.
Аналитика је оно што ће утицати на пословање на организацију! Ваша каријера ће у великој мери имати користи од њеног укључивања у овај домен великих података.
' Могу ли то направити као Хадооп-ер? '
... можда је следеће питање на уму. И с правом се мисли, Биг Дата је тржиште које је вруће као и увек и важно као и увек.
Без Хадооп-а, компаније ће се тешко носити са великим подацима. Без квалификованих стручњака попут вас, компаније ће се тешко носити са Хадооп-ом.
Постоји извештај који каже да у овом домену постоји дефицит талената. Значи дефицит дефицита, мање професионалаца, али велика потражња. И ово је на глобалном нивоу и није ограничено на одређену географију.
Да ли желите бројеве?
ДО МцКинсеи Глобал Институте студија наводи да ће се САД суочити са мањком од око 190.000 научника за податке и 1,5 милиона менаџера и аналитичара који могу да разумеју и доносе одлуке користећи Биг Дата до 2018. године.
Савет за каријеру? Сурфајте када су плиме мале!
Али јеси ли ограничен да само Хадооп ?
Не баш. Постоји читав низ алата за обраду великих података, а Хадооп се сматра једним од најбољих. Али, не сваки пут!
Постоје тренуци када Хадооп не одговара најбоље. На пример, ако сте нетехничка особа која није баш добра у писању програма МапРедуце.
У таквим случајевима можете користитиТАЛЕНД, који вам даје графички кориснички интерфејс да радите све што бисте иначе урадили са МапРедуце.
За писање једноставнијих Јава кодова можете да користитеСВИЊА.
Ако желите да покренете упите сличне СКЛ-у на великим подацима, ондаХИВЕможе се користити.
како избећи застој у јави
Ако желите да користите податке сачуване у НоСКЛ бази података, ондаХБасеможе се користити.
За обављање аналитике у реалном времену можете да користитеИСКРА.
То су алати за велике податке, који иду руку под руку са Хадооп-ом, али ипак не замењују Хадооп. Они су Хадооп додаци за велике податке.
Поред тога, постоји још неколико алата попут СКООП, ФЛУМЕ, ООЗИЕ итд. Који се могу интегрисати са Хадооп оквиром за решавање различитих пословних проблема.
Шта индустрија очекује од вас као стручњака за велике податке?
Индустрији је пријеко потребна АРХИТЕКТИ ВЕЛИКИХ ПОДАТАКА који могу да направе целокупно решење за велике податке за своје организације. Архитекти великих података су они који имају стручност у свим претходно споменутим алатима.
Ево сведочења ученика Едуреке о курс:
Постати почев од Едурекине обуке за сертификацију Биг Дата Анд Хадооп која ученицима помаже да постану стручњаци за ХДФС, предиво, МапРедуце, свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, домену финансија .