Програмирање свиња: Направите своју прву Апацхе свињску скрипту
У нашем , сада ћемо научити како да направимо Апацхе Пиг скрипту. Апацхе Пиг скрипте се користе за колективно извршавање низа Апацхе Пиг наредби. Ово помаже у смањењу времена и труда уложеног у писање и ручно извршавање сваке наредбе док то радите у Пиг програмирању.Такође је саставни део .Овај блог је корак по корак водич који ће вам помоћи да креирате своју прву скрипту Апацхе Пиг.
Начини извршавања Апацхе Пиг скрипте
Локални начин рада : У „локалном режиму“ можете извршити пиг скрипту у локалном систему датотека. У овом случају не морате да складиштите податке у датотечном систему Хадооп ХДФС, већ можете да радите са подацима ускладиштеним у самом локалном систему датотека.
МапРедуце Моде : У „МапРедуце моду“ подаци треба да се чувају у ХДФС систему датотека и можете их обрадити уз помоћ свињске скрипте.
Апацхе свињска скрипта у режиму МапРедуце
Рецимо да је наш задатак читање података из датотеке података и приказивање потребног садржаја на терминалу као излаз.
Узорак датотеке података садржи следеће податке:
позив референцом у ц ++
Сачувајте текстуалну датотеку са именом „информатион.ткт“
Узорак датотеке података садржи пет колона Име , Презиме , МобилеНо , Град , и Професија одвојене тастер таб . Наш задатак је да читамо садржај ове датотеке са ХДФС-а и прикажемо све колоне ових записа.
Да би се ови подаци обрађивали помоћу свиња, ова датотека треба да буде присутна у Апацхе Хадооп ХДФС.
Команда : хадооп фс –цопиФромЛоцал /хоме/едурека/информатион.ткт / едурека
Корак 1: Писање свињског писма
Направите и отворите датотеку скрипте Апацхе Пиг у уређивачу (нпр. Гедит).
Команда : судо гедит /хоме/едурека/оутпут.пиг
Ова наредба ће створити датотеку ‘оутпут.пиг’ унутар кућног директоријума корисника едурека.
када ово користити у јави
Напишимо неколико ПИГ наредби у датотеку оутпут.пиг.
А = ЛОАД '/едурека/информатион.ткт' користећи ПигСтораге ('') као (ФНаме: цхарарраи, ЛНаме: цхарарраи, МобилеНо: цхарарраи, Цити: цхарарраи, Профессион: цхарарраи) Б = ФОРЕАЦХ А генериши ФНаме, МобилеНо, ДУМП Профессион Б.Сачувајте и затворите датотеку.
- Прва наредба учитава датотеку „информатион.ткт“ у променљиву А са индиректном шемом (ФНаме, ЛНаме, МобилеНо, Цити, Профессион).
- Друга наредба учитава потребне податке из променљиве А у променљиву Б.
- Трећи ред приказује садржај променљиве Б на терминалу / конзоли.
Корак 2: Извршите Апацхе Пиг Сцрипт
Да бисте извршили пиг скрипту у ХДФС режиму, покрените следећу наредбу:
Команда : пиг /хоме/едурека/оутпут.пиг
По завршетку извршења, прегледајте резултат. Ове слике испод приказују резултате и њихову средњу мапу и функције смањења.
Испод слика показује да је скрипта успешно извршена.
Испод слике приказан је резултат наше скрипте.
Честитамо вам што сте успешно извршили своју прву скрипту Апацхе Пиг!
Сада знате како да креирате и извршите Апацхе Пиг скрипту. Дакле, наш следећи блог у покриваће како креирајте УДФ (кориснички дефинисане функције) у Апацхе Пиг-у и извршите га у режиму МапРедуце / ХДФС.
Сада када сте креирали и извршили Апацхе Пиг Сцрипт, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250 000 задовољних ученика раширених широм света. Едурека курс обуке за сертификацију за велике податке помаже ученицима да постану стручњаци за ХДФС, предиво, МапРедуце, свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, финансијском домену.
Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.