Врхунске команде са кошницама са примерима у ХКЛ-у

У овом посту на блогу, разговарајмо о најбољим командама Хиве са примерима. Ове команде кошнице су веома важне за постављање темеља .

Шта је кошница?

Апацхе Хиве је систем складишта података који је направљен за рад на Хадооп-у. Користи се за постављање упита и управљање великим скуповима података који се налазе у дистрибуираном складишту. Пре него што је постао пројекат отвореног кода Апацхе Хадооп-а, Хиве је настао на Фацебоок-у. Пружа механизам за пројектовање структуре на податке у Хадооп-у и за испитивање тих података користећи језик сличан СКЛ-у зван ХивеКЛ (ХКЛ).

Хиве се користи јер су табеле у Хиве-у сличне табелама у релационој бази података. Ако сте упознати са СКЛ-ом, то је шетња. Многи корисници могу истовремено да траже податке помоћу Хиве-КЛ.

Шта је ХКЛ?

Хиве дефинише једноставан језик упита сличан СКЛ-у за постављање упита и управљање великим скуповима података под називом Хиве-КЛ (ХКЛ). Једноставан је за употребу ако сте упознати са СКЛ језиком. Хиве омогућава програмерима који су упознати са језиком да напишу прилагођени оквир МапРедуце да би извршили софистициранију анализу.

Употреба кошнице:

1. Апацхе Хиве дистрибуирано складиште.

2. Хиве нуди алате који омогућавају лако издвајање / трансформисање / учитавање података (ЕТЛ)

3. Пружа структуру различитих формата података.

4. Коришћењем Хиве-а можемо приступити датотекама ускладиштеним у дистрибутивном систему датотека Хадооп (ХДФС се користи за постављање упита и управљање великим скуповима података који се налазе у њему) или у другим системима за складиштење података, као што је Апацхе ХБасе.

Ограничења кошнице:

& булл Хиве није дизајниран за мрежну обраду трансакција (ОЛТП), користи се само за аналитичку обраду на мрежи.

& булл Хиве подржава преписивање или хватање података, али не и ажурирање и брисање.

& булл У кошници, подупити нису подржани.

Зашто се кошница користи упркос свиње?

Следе разлози због којих се кошница користи упркос свињској доступности:

• Хиве-КЛ је декларативна језичка линија СКЛ, ПигЛатин је језик протока података.
• Свиња: језик протока података и окружење за истраживање веома великих скупова података.
• Кошница: дистрибуирано складиште података.

Компоненте кошнице:

Метасторе:

шта трим ради у јави

Хиве складишти схему таблица Хиве у Метасторе Хиве. Метасторе се користи за чување свих информација о табелама и преградама које се налазе у складишту. Подразумевано је да се метасторе покреће у истом процесу као и услуга Хиве, а подразумевана Метасторе је ДерБи Датабасе.

СерДе:

Серијализатор, Десеријализатор даје упутства кошници како да обради запис.

Команде кошница:

Језик за дефинисање података (ДДЛ)

ДДЛ изрази се користе за изградњу и модификовање табела и других објеката у бази података.

Идите у шкољку Хиве давањем команде судо хиве и унесите команду 'Креирај база података име> ’ за стварање нове базе података у кошници.

Да бисте излистали базе података у складишту кошница, унесите команду „ приказују базе података ’.

База података креира се на подразумеваној локацији складишта кошница. У Цлоудери, база података о кошницама чува се у / корисник / кошница / складиште.

Наредба за употребу базе података је УСЕ

Копирајте улазне податке у локални ХДФС помоћу команде цопи фром лоцал.

Када креирамо табелу у кошници, она се креира на подразумеваном месту складишта кошница. - „/ корисник / кошница / складиште“, након креирања табеле можемо податке из ХДФС-а преместити у табелу кошница.

Следећа команда креира табелу са локацијом „/усер/хиве/варехоусе/ретаил.дб“

Белешка : ретаил.дб је база података креирана у складишту кошница.

Опишите пружа информације о шеми табеле.

Језик за манипулисање подацима (ДМЛ)

ДМЛ изрази се користе за преузимање, чување, модификовање, брисање, уметање и ажурирање података у бази података.

Пример:

ЛОАД, ИНСЕРТ изјаве.

Синтакса:

УЧИТАЈ податке у табелу [име табеле]

Операција учитавања користи се за премештање података у одговарајућу табелу кошница. Ако је кључна реч локални је наведено, тада ће у наредби лоад дати локални пут система датотека. Ако кључна реч лоцал није наведена, морамо да користимо ХДФС путању датотеке.

Ево неколико примера за наредбу ЛОАД дата ЛОЦАЛ

Након учитавања података у табелу кошница можемо применити Изјаве о манипулацији подацима или обједињене функције за преузимање података.

Пример за бројање броја записа:

Користи се збирна функција бројања, броји укупан број записа у табели.

„Креирај спољну“ табелу:

Тхе створити спољашње Кључна реч се користи за креирање табеле и пружа локацију на којој ће се табела креирати, тако да Хиве не користи подразумевану локацију за ову табелу. Ан СПОЉНИ табела указује на било коју ХДФС локацију за његово складиштење, уместо на подразумевано складиште.

Уметни наредбу:

Тхе убацити наредба се користи за учитавање таблице података Хиве. Уметања се могу извршити у табелу или партицију.

& булл ИНСЕРТ ОВЕРВРИТЕ се користи за преписивање постојећих података у табели или партицији.

& булл ИНСЕРТ ИНТО се користи за додавање података у постојеће податке у табели. (Напомена: ИНСЕРТ ИНТО синтакса је рад из верзије 0.8)

Пример за наредбу „Подељено према“ и „Груписано по“:

‘Поделио „Користи се за поделу табеле на партицију и може се поделити у сегменте помоћу„ Груписани према ‘Заповест.

Када убацимо грешке у бацању података у кошници, режим динамичке партиције је строг, а динамичка партиција није омогућена (од Јефф у веб страница дрессхеад ). Дакле, морамо да поставимо следеће параметре у кошници Хиве.

сет хиве.екец.динамиц.партитион = труе

Да би се омогућиле динамичке партиције, подразумевано је нетачно

поставите хиве.екец.динамиц.партитион.моде = нонстрицт

Партицију врши категорија и може се поделити у сегменте помоћу команде „Цлустеред Би“.

Израз „Испуштање табеле“ брише податке и метаподатке за табелу. У случају спољних табела, бришу се само метаподаци.

Израз „Испуштање табеле“ брише податке и метаподатке за табелу. У случају спољних табела, бришу се само метаподаци.

Учитајте податке локалне инпатх „ару.ткт“ у назив табеле табеле, а затим проверавамо табелу запосленика1 помоћу команде Селецт * фром табле наме

Да бисте избројали број записа у табели помоћу Селецт цоунт (*) од ткнрецордс

Агрегација:

Изаберите број (ДИСТИНЦТ категорија) из назива табеле

Ова наредба ће рачунати различиту категорију табеле „цате“. Овде постоје 3 различите категорије.

Претпоставимо да постоји друга категорија таблице где је ф1 назив поља категорије.

Груписање:

Команда Гроуп користи се за груписање скупа резултата у једну или више колона.

Изаберите категорију, збир (износ) из ткт записа групу по категоријама

Израчунава износ исте категорије.

Резултат једне табеле се чува у другој табели.

Направите табелу невтабленаме као селецт * из олдтабленаме

Придружите се команди:

Овде се у имену креира још једна табела ‘Маилс’

Придружите се операцији :

Операција Придруживање врши се комбиновањем поља из две табеле коришћењем вредности заједничких за сваку.

Лево Спољно Придруживање :

Резултат левог спољашњег спајања (или једноставно левог спајања) за табеле А и Б увек садржи све записе „леве“ табеле (А), чак и ако услов придруживања не пронађе ниједан одговарајући запис у „десној“ табели (Б).

периодни систем алата девопс

Право спољашње придруживање :

Десни спољни спој (или десни спој) јако личи на леви спољни спој, осим ако је поступак са столовима обрнут. Сваки ред из „десне“ табеле (Б) појавит ће се у придруженој табели барем једном.

Фулл Јоин :

Спојена табела ће садржати све записе из обе табеле и попунити НУЛЛ за недостајуће подударности са било које стране.

Када завршимо са кошницом, можемо користити команду куит за излазак из љуске кошнице.

Кошница је само део велике слагалице зване Биг Дата анд Хадооп. Хадооп је много више од пуке кошнице. Кликните испод да бисте видели које још вештине треба да савладате у Хадооп-у.

Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.

Повезани постови:

7 начина како обука великих података може променити вашу организацију

Модели података о кошници