Výukový program SSIS poskytuje základné a pokročilé koncepty integračných služieb SQL Server. Náš tutoriál SSIS je určený pre začiatočníkov aj profesionálov.
SQL Server Integration Service je rýchly a flexibilný nástroj na ukladanie údajov, ktorý sa používa na extrakciu, transformáciu a načítanie údajov. Uľahčuje načítanie údajov z jednej databázy do inej databázy, ako je SQL Server, Oracle, súbor Excel atď.
V tomto návode budeme diskutovať o nasledujúcich témach:
- Čo je SSIS
- Čo je integrácia údajov
- Prečo SSIS
- Ako funguje SSIS
- Požiadavky na integračnú službu SQL Server
- Čo je balík SSIS
- Úlohy SSIS
- Príklad úlohy toku údajov
- Príklad vykonania úlohy SQL
čo je SSIS?
- SSIS je skratka pre SQL Server Integration Services.
- Je to komponent dostupný v databázovom softvéri Microsoft SQL Server, ktorý sa používa na vykonávanie širokej škály integračných úloh.
- Ide o nástroj na skladovanie dát, ktorý sa používa na extrakciu dát, načítanie dát do inej databázy, transformácie ako čistenie, agregovanie, spájanie dát atď.
- Nástroj SSIS obsahuje aj grafické nástroje a funkcie workflow sprievodcov, ako je odosielanie e-mailových správ, ftp operácie, zdroje údajov.
- SSIS sa používa na vykonávanie širokého spektra transformačných a integračných úloh. Ako celok sa nástroj SSIS používa pri migrácii údajov.
SSIS je nástroj, ktorý sa používa hlavne na vykonávanie dvoch funkcií:
SSIS vykonáva integráciu údajov kombináciou údajov z viacerých zdrojov a poskytuje používateľom jednotné údaje.
Pracovný postup možno použiť na vykonanie niekoľkých vecí. Niekedy potrebujeme vykonať niektoré špecifické kroky alebo konkrétnu cestu, ktorá je založená buď na časovom období alebo parametri odovzdanom balíku alebo na údajoch dopytovaných z databázy. Môže sa použiť na automatizáciu údržby databáz SQL Server a poskytuje aktualizáciu viacrozmerných analytických údajov.
Čo je integrácia údajov?
Integrácia údajov je proces, ktorý používate na integráciu údajov z viacerých zdrojov. Údaje môžu byť heterogénne alebo homogénne. Dáta môžu byť štruktúrované, pološtruktúrované alebo neštruktúrované. Pri integrácii údajov sa údaje z rôznych odlišných zdrojov údajov integrujú do zmysluplných údajov.
Na dosiahnutie integrácie údajov sa používajú niektoré metódy:
Výhody dátovej integrácie:
Znižuje zložitosť údajov, čo znamená, že údaje môžu byť doručené do akéhokoľvek systému. Integrácia údajov zachováva zložitosť, efektívne pripojenia a uľahčuje doručovanie údajov do akéhokoľvek systému.
Integrita údajov hrá hlavnú úlohu v integrácii údajov. Zaoberá sa čistením a overovaním údajov. Každý chce kvalitné a robustné dáta, preto sa na dosiahnutie tohto konceptu dátovej integrácie používa. Integrácia údajov je užitočná pri odstraňovaní chýb, nekonzistentnosti a duplikácií.
Dostupnosť patrí do spolupráce s údajmi. Dostupnosť znamená, že údaje možno ľahko transformovať a ľudia môžu údaje jednoducho integrovať do projektov, zdieľať svoje výsledky a udržiavať údaje aktuálne.
Umožňuje vám tiež robiť inteligentnejšie rozhodnutia. Integrované údaje sa vzťahujú na proces prenosu v rámci spoločnosti, aby sme mohli ľahšie pochopiť informácie. Integrované údaje sú oveľa jednoduchšie a informatívne.
Prečo SSIS?
SSIS sa používa z nasledujúcich dôvodov:
SSIS sa používa na kombinovanie údajov z viacerých zdrojov údajov na vytvorenie jednej štruktúry v jednotnom zobrazení. V podstate je zodpovedný za zhromažďovanie údajov, extrahovanie údajov z viacerých zdrojov údajov a ich zlúčenie do jedného zdroja údajov.
SSSIS je platforma, ktorá má schopnosť načítať veľké množstvo údajov z Excelu do databázy SQL Server.
Nástroj SSSIS poskytuje úzku integráciu s ostatnými produktmi spoločnosti Microsoft.
Nástroj SSSIS je lacnejší ako väčšina ostatných nástrojov. Dokáže odolávať iným základným produktom, ich ovládateľnosti, business intelligence atď.
SSSIS vám umožňuje zvládnuť komplexnú chybu v rámci toku údajov. Tok údajov môžete spustiť a zastaviť na základe závažnosti chyby. Môžete dokonca poslať e-mail správcovi, keď sa vyskytne nejaká chyba. Po vyriešení chyby si môžete vybrať cestu medzi pracovným postupom.
Ako funguje SSIS?
Vieme, že SSIS je platforma pre dve funkcie, t. j. integráciu údajov a pracovný tok. Úlohy Transformácie údajov aj vytváranie pracovných tokov sa vykonávajú pomocou balíka SSIS. Balík SSIS pozostáva z troch komponentov:
Prevádzkové údaje
Prevádzkové údaje sú databázou, ktorá sa používa na integráciu údajov z viacerých zdrojov údajov na vykonávanie dodatočných operácií s údajmi. Je to miesto, kde sú dáta uložené pre aktuálnu prevádzku pred odoslaním do dátového skladu na uloženie, vykazovanie alebo archiváciu.
načítanie javascriptu
ETL
- ETL je najdôležitejší proces v nástroji SSIS. ETL sa používa na extrakciu, transformáciu a načítanie údajov do dátového skladu.
- ETL je proces zodpovedný za vytiahnutie údajov z viacerých zdrojov údajov, transformáciu údajov na užitočné údaje a následné uloženie údajov do dátového skladu. Údaje môžu byť v akomkoľvek formáte xml súboru, plochého súboru alebo akéhokoľvek databázového súboru.
- Zabezpečuje tiež, že údaje uložené v dátovom sklade sú relevantné, presné, vysoko kvalitné a užitočné pre podnikových používateľov.
- Dá sa k nemu jednoducho dostať, aby sa dátový sklad mohol využívať efektívne a efektívne.
- Organizácii tiež pomáha robiť rozhodnutia založené na údajoch získavaním štruktúrovaných a neštruktúrovaných údajov z viacerých zdrojov údajov.
ETL je koncept pozostávajúci z troch slov, ale je rozdelený do štyroch fáz:
Zachytiť: Fáza zachytávania je známa aj ako fáza extrakcie. V tejto fáze vyberie zdrojové údaje alebo metadáta a údaje môžu byť v akomkoľvek formáte, ako je súbor xml, plochý súbor alebo akýkoľvek databázový súbor.
Vydrhnúť: V tejto fáze sa skontrolujú pôvodné údaje. Kontroluje dáta, či obsahujú nejaké chyby alebo nie. Pomocou niektorých techník umelej inteligencie kontroluje chyby alebo nekonzistentnosť údajov. Skrátka overí, či je kvalita produktu splnená alebo nie.
Transformácia: Je to tretia fáza v ETL. Transformácia je proces, pri ktorom sa pôvodný formát prevedie na požadovaný formát. Transformácia je modelovanie alebo zmena dát podľa požiadaviek užívateľa. Zmeny môžu byť buď zmenou počtu stĺpcov alebo riadkov.
Načítanie a index: Štvrtou fázou je zaťaženie a index. Načíta údaje a overí počet riadkov, ktoré boli spracované. Po dokončení načítania údajov sa použije indexovanie. Indexovanie vám pomáha sledovať počet riadkov, ktoré sú načítané v dátovom sklade. Indexovanie tiež pomáha identifikovať údaje, či už sú v správnom formáte alebo nie.
Dátový sklad
Dátový sklad je jediné, úplné a konzistentné úložisko údajov, ktoré je formulované kombináciou údajov z viacerých zdrojov údajov.
Rozdiel medzi databázou a dátovým skladom
Odpoveď môže byť áno aj nie. Databáza aj dátový sklad majú veľkú jednotku údajov a podobnú fyzickú reprezentáciu, ale čas odozvy zložitých dotazov v dátovom sklade je rýchlejší ako v databáze.
Požiadavky na SQL Server Integration Services
Nasledujú požiadavky na inštaláciu SQL Server Integration Services:
- Nainštalujte SQL Server
- Nainštalujte SQL Server Data Tools
Ak chcete nainštalovať nástroje SQL Server Data Tools, postupujte podľa nasledujúcich krokov:
Krok 1: Kliknite na odkaz https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 stiahnuť dátové nástroje SQL Server.
Krok 2: Po kliknutí na vyššie uvedený odkaz sa zobrazí obrazovka zobrazená nižšie:
Na obrazovke vyššie vyberte verziu SSDT, ktorú chcete nainštalovať.
Krok 3: Po dokončení sťahovania spustite stiahnutý súbor. Keď spustíte stiahnutý súbor, zobrazí sa obrazovka, ktorá je znázornená nižšie:
Krok 4: Kliknite na tlačidlo Ďalej.
Krok 5: Vyberte inštanciu vizuálneho štúdia a nástroje, ktoré chcete nainštalovať do vizuálneho štúdia 2017.
Krok 6: Klikni na Inštalácia tlačidlo.
8 na 1 multiplexer
Čo je balík SSIS?
Balík je základným blokom, v ktorom kódujete v SSIS. Tu kód neznamená, že kódujete v nejakom programovacom jazyku; to znamená vývoj, ktorý robíte. Vývoj prebieha v balíku SSIS. SSIS sa používa hlavne pre proces ETL a proces ETL sa vykonáva vo vnútri balíka SSIS.
Balík SSIS sa skladá z troch častí:
Balík SSIS bude mať nejaké pripojenia a tieto pripojenia sa používajú na pripojenie k rôznym zdrojom údajov.
Balík SSIS sa skladá z dvoch prvkov, t. j. prvkov riadiaceho toku a prvkov toku údajov. Prvky toku riadenia riadia pracovné toky. Pracovný tok znamená, že niektoré úlohy vykonávame v krokoch, takže postupnosť sa vykonáva prostredníctvom riadiaceho toku.
Prvky toku údajov vykonávajú transformácie.
Úlohy SSIS
V balíku SSIS môžeme pridávať úlohy. Úloha je jednotka práce a na vykonávanie rôznych druhov práce budeme mať rôzne typy úloh. Existujú rôzne typy úloh, ale budeme diskutovať o najbežnejších úlohách používaných v SSIS:
Používa sa na vykonávanie príkazov SQL proti relačnej databáze.
Používa sa hlavne na čítanie údajov z jedného alebo viacerých zdrojov údajov, transformáciu údajov a môže tiež načítať údaje do jedného alebo viacerých cieľov.
Používa sa na spracovanie objektov kocky SSAS alebo tabuľkového modelu.
Táto úloha sa používa na volanie ostatných balíkov v rámci toho istého projektu. Môžete dokonca odovzdať hodnoty premenných do volaného balíka.
Umožňuje vám spúšťať aplikácie alebo dávkové skripty ako SQL Server Integration Services. Môže sa použiť na otvorenie štandardných aplikácií, ako je Microsoft Excel, Microsoft Word atď. Používa sa tiež na rozbalenie komprimovaného súboru.
Môže sa použiť na vykonávanie manipulácií so súborovým systémom, ako je presúvanie súborov, mazanie súborov, premenovanie súborov, zmena adresára atď.
Úlohy IFTP sa používajú na vykonávanie operácií so súbormi a priečinkami. Napríklad, ak chcete odoslať alebo prijať súbor z FTP servera do lokálneho adresára, potom sa použije úloha SSIS FTP.
Táto úloha vám umožňuje napísať kód .Net, ktorý chcete vykonať.
Táto úloha sa používa na odoslanie e-mailu. Používa sa hlavne vtedy, keď chcete upozorniť používateľov na stav úlohy, či je v spustenom stave alebo sa vyskytla nejaká chyba.
Pozrime sa na nejaký funkčný príklad služby integrácie údajov.
Príklad úlohy toku údajov
Krok 1: Najprv vytvoríme excelový súbor v programe Microsoft Excel. Predpokladajme, že vytvorím databázu študentov v programe Microsoft Excel a polia v tabuľke študentov sú študent_id, meno_študenta, známky a pohlavie.
Krok 2: Otvorte vizuálne štúdio (SQL Server Data Tools).
Krok 3: Kliknite na možnosť Súbor a potom prejdite na Nový->Projekt.
Krok 4: Po kliknutí na projekt sa zobrazí obrazovka, ktorá je znázornená nižšie:
Na obrazovke vyššie kliknite na Integračné služby zobrazené na ľavej strane panela a potom kliknite na Projekt integračných služieb.
Krok 5: Po kliknutí na projekt integračných služieb možnosť, obrazovka sa zobrazí nasledovne:
Vyššie uvedená obrazovka pozostáva z piatich záložiek, ako sú Control flow, Data flow, Parameters, Event Handler a Package Explorer. Už sme diskutovali o toku kontroly a toku údajov, riadiaci tok aj tok údajov existujú v balíku SSIS.
krok 6: Na import údajov musíme najprv vytvoriť databázu, v ktorej vytvoríme tabuľku v databáze SQL Server. Keďže vieme, že údaje o študentoch sú dostupné v súbore Excel a chceme ich importovať do databázy SQL Server. Aby sme to dosiahli, musíme najprv vytvoriť tabuľku v SQL Serveri. Otvorte SQL Server Management studio.
Krok 7: Vytvorte študent databázy. Kliknite pravým tlačidlom myši na databázu a potom kliknite na Nová databáza možnosť.
Krok 8: Zadajte názov databázy na nižšie uvedenej snímke obrazovky:
Ako názov databázy som dal StudentWarehouse.
Krok 9: Klikni na OK tlačidlo.
Krok 10: Teraz vytvoríme tabuľku v a StudentWarehouse databázy. Kliknite pravým tlačidlom myši na tabuľky a potom kliknite na položku Nová tabuľka.
Krok 11: Teraz pridáme polia do tabuľky, ako napríklad študent_id, meno_študenta, známky a pohlavie. Študent_id sme nastavili ako primárny kľúč, ktorý jednoznačne identifikuje každý riadok.
Vyššie uvedená obrazovka ukazuje, že do tabuľky pridávame štyri polia. Po pridaní všetkých polí do tabuľky tabuľku uložíme zadaním nejakého užitočného názvu. Predpokladajme, že som uviedol študenta ako názov tabuľky.
Krok 12: Presuňte sa späť do vizuálneho štúdia. Riadiaci tok obsahuje Úlohu toku údajov, potiahnite a pustite úlohu toku údajov v hlavnom okne.
Krok 13: Keď dvakrát klikneme na úlohu toku údajov, ovládací prvok sa automaticky presunie do toku údajov z riadiaceho toku, takže môžeme povedať, že tok údajov je kontajner toku údajov.
Krok 14: Teraz môžeme vykonať transformácie v dátovom toku. Chceme extrahovať údaje zo súboru programu Excel, ktorý sme vytvorili predtým, takže presuňte zdroj programu Excel z iných zdrojov, ktoré sa zobrazujú na ľavej strane panela.
Z vyššie uvedenej obrazovky vidíme, že sa vo vnútri zdroja Excel zobrazuje červený krížik, čo znamená, že komponent je nakonfigurovaný so zdrojom Excel.
Krok 15: Ak chcete nakonfigurovať komponent, kliknite pravým tlačidlom myši na zdroj Excel a kliknite na možnosť Upraviť, ako je znázornené na obrázku nižšie:
Krok 16: Vyplňte podrobnosti zobrazené na obrázku nižšie:
Krok 17: Po zadaní všetkých podrobností sa zobrazí obrazovka uvedená nižšie:
Krok 18: Kliknite na Excel Souce.
Vyššie uvedená obrazovka zobrazuje dve šípky, červenú a modrú šípku. Modrá šípka definuje skutočné údaje, ktoré dostávame zo súboru Excel, a červená šípka označuje chyby, ktoré máme. Teraz musíme vykonať transformácie a pred vykonaním transformácií musíme načítať databázu.
Krok 19: Pre načítanie databázy kliknite na Iné destinácie a potom kliknite na Cieľ.
Krok 20: Po pridaní cieľa pripojte zdroj k cieľu.
Krok 21: Vo vyššie uvedenom kroku sme si všimli červený krížik v ADO NET Destination, čo znamená, že nie je nakonfigurovaný s komponentom. Kliknite pravým tlačidlom myši na cieľ ADO NET a potom kliknite na možnosť Upraviť, ako je znázornené na obrázku nižšie:
Krok 22: Musíte zadať správcu konfigurácie.
Krok 23: Klikni na Nový tlačidlo na pridanie správcu pripojenia. Keď kliknete na Nový tlačidlo, zobrazí sa obrazovka zobrazená nižšie:
Krok 24: Pridajte názov servera a vyberte názov databázy zo servera SQL.
Krok 25: Kliknite na tlačidlo OK.
Krok 26: Pridajte názov tabuľky, do ktorej chcete načítať údaje.
Krok 27: Na obrazovke nižšie namapujte pole vstupného zdroja na pole cieľového zdroja.
ako funguje počítač
Krok 28: Po pridaní mapovania je zdroj pripojený k cieľu, ako je znázornené na obrázku nižšie:
Krok 29: Klikni na Štart tlačidlo na spustenie projektu integračných služieb. Keď spustíte projekt, údaje sa načítajú do cieľa, t.j. SQL Server .
Príklad vykonania úlohy SQL
- Postupujte podľa krokov od kroku 2 do kroku 5 predchádzajúceho príkladu.
- Presuňte myšou Vykonajte úlohu SQL zobrazený na paneli úplne vľavo v hlavnom okne.
Na vyššie uvedenej obrazovke vidíme, že červený krížik sa zobrazuje v úlohe Spustiť SQL, čo znamená, že Správca pripojenia nie je nakonfigurovaný s Vykonajte úlohu SQL . Aby sme ho nakonfigurovali, musíme pridať Správcu pripojení.
- Ak chcete pridať Správcu pripojení, kliknite pravým tlačidlom myši na Správcu pripojení a potom kliknite na Správcu pripojení, ako je znázornené na obrázku nižšie:
- Vyberte OLEDB ako typ Connection Manager a potom kliknite na Pridať tlačidlo, ako je znázornené na obrázku nižšie:
- Po kliknutí na Pridať tlačidlo, zobrazí sa obrazovka zobrazená na obrázku nižšie:
Na vyššie uvedenej obrazovke vidíme, že dátové pripojenie StudentWarehouse databáza je už dostupná, ako sme vytvorili v predchádzajúcom kroku. Klikni na OK tlačidlo.
- Po kliknutí na tlačidlo OK sa zobrazí obrazovka, ako je znázornené nižšie:
Na vyššie uvedenej obrazovke musíte zadať podrobnosti, ako je názov vašej úlohy, popis, príkaz SQL (úloha SQL, ktorú musíte vykonať na stole).
- Na snímke obrazovky vyššie som zadal nasledujúce podrobnosti:
Vo vyššie uvedenom prípade som poskytol príkaz vložiť v SQLStatement.
- Klikni na OK tlačidlo.
- Keď nakonfigurujete komponent pomocou úlohy Execute SQL Task, červený krížik zmizne, ako je znázornené na obrázku nižšie:
- Spustite projekt kliknutím na Štart .
- Keď kliknete na Štart , zobrazí sa obrazovka uvedená nižšie:
Na obrazovke vyššie značka začiarknutia ukazuje, že vaša úloha SQL bola úspešne dokončená. Bol vykonaný príkaz insert, ktorý sme pridali v predchádzajúcich krokoch, a údaje sa pridajú do tabuľky. t.j. študent1.
- Výstup tejto úlohy je uvedený nižšie
Predpoklad
Predtým, ako sa naučíte SSIS, musíte mať základné znalosti o SQL Server.
publikum
Náš tutoriál SSIS je navrhnutý tak, aby pomohol začiatočníkom a profesionálom.
Problém
Uisťujeme vás, že v tomto návode SSIS nenájdete žiadny problém. Ak sa však vyskytne chyba alebo chyba, napíšte chybu do kontaktného formulára.