Lokální LLM – nasazení a provoz ve firemní infrastruktuře (AILOC)

Umělá Inteligence, AI pro vývojáře

Lokální jazykové modely umožňují využívat generativní AI bez odesílání firemních dat do cloudu, s plnou kontrolou nad infrastrukturou, náklady i bezpečností. Kurz je ideální pro administrátory, DevOps specialisty a IT architekty, kteří mají ve firmě lokální AI navrhnout, nasadit a dlouhodobě provozovat.

Naučíme vás správně dimenzovat hardware, vybrat vhodný open-weight model a kvantizaci a nasadit jej pomocí nástrojů Ollama, llama.cpp a vLLM, od pracovní stanice až po multi-GPU server. Ukážeme správu GPU zdrojů v GPUStack, interní chatbot s RAG nad firemními dokumenty v Open WebUI, napojení na vývojářské nástroje a coding asistenty a také zabezpečení celého řešení v produkčním provozu. Výuka je prakticky zaměřená a vedená lektory s reálnou zkušeností s provozem lokálních modelů.

TOTO ŠKOLENÍ VÁM POMŮŽE:

  • Pochopit, jak funguje inference a co určuje nároky modelu na VRAM, RAM a výkon
  • Navrhnout a dimenzovat hardware pro lokální AI (GPU, multi-GPU, unified memory platformy)
  • Vybrat vhodný model podle úlohy, jazyka, licence a dostupného hardwaru
  • Nasadit modely pomocí Ollama, llama.cpp a vLLM v Dockeru i Kubernetes
  • Zpřístupnit modely přes OpenAI-kompatibilní API, Open WebUI a vývojářské nástroje
  • Zajistit autentizaci, ochranu dat, monitoring a odolnost vůči prompt injection

KDO BY SE MĚL KURZU ZÚČASTNIT?

  • Systémoví administrátoři, kteří mají lokální modely nasadit a provozovat
  • DevOps a platformní inženýři, kteří budují inference infrastrukturu a interní AI API
  • IT a solution architekti, kteří rozhodují mezi lokálním, on-premise a cloudovým řešením

KDE A KDY KURZ PROBÍHÁ?



S námi máte na výběr: Přijďte na kurz osobně do naší učebny, nebo se ke kurzu připojte online. Vámi preferovanou formu můžete zvolit v průběhu objednávky. Více informací k hybridní formě školení naleznete zde.
Filtrovat termíny:
TermínLokalitaForma Cena
18.1. - 19.1.2027
PrahaPraha (hybridně)
HybridněTento termín probíhá současně v učebně i online. Preferovaný způsob účasti si zvolíte během objednávky.
11 800 Kč 14 278 Kč vč. DPH
Objednat
Privátní školení

Odemkněte potenciál svých zaměstnanců. Každé školení z naší nabídky přizpůsobíme konkrétním cílům i lidem.
Potřebujete školení přímo u vás ve firmě, nebo upravit obsah a délku na míru? ICT Pro je ideální řešení. Školit můžeme také v angličtině.

Poptat kurz na míru

Náplň kurzu:

Skrýt detaily
  • Základy lokálních modelů
    1. Co je lokální LLM a jak probíhá inference
    2. Lokální model versus cloudové API a on-premise služba
    3. Open source, open-weight a proprietární modely
    4. Parametry modelu, vrstvy, tokeny a kontextové okno
    5. VRAM, RAM, CPU, GPU a nároky na úložiště
    6. Kvantizace: FP16, BF16, INT8, INT4 a GGUF
    7. Vliv velikosti modelu na kvalitu a výkon
    8. Chat, base, reasoning, coding a multimodální modely
    9. Embeddingové a rerankingové modely
    10. Inference, RAG, fine-tuning, LoRA a QLoRA
    11. Výběr modelu podle úlohy, jazyka, licence a hardwaru
    12. Benchmarky, evaluace a praktické testování
    13. Limity lokálních modelů a typické chyby
    14. Bezpečnost a ochrana dat
  • Hardware a provozní prostředí
    1. Workstation versus firemní server
    2. NVIDIA, AMD, Intel a CUDA
    3. VRAM, více GPU, CPU a hybridní inference
    4. Linux, Windows, WSL, Docker a Kubernetes
    5. Výkon, spotřeba, chlazení a monitoring
    6. Benchmarkování a dimenzování infrastruktury
    7. Unified Memory platformy, platforma Strix Halo, Mac Studio, RTX Spark, DGX Spark a další
  • Ollama
    1. Rychlé nasazení modelů na workstation
    2. Správa modelů a základní konfigurace
    3. API pro připojení aplikací
  • llama.cpp
    1. GGUF a kvantizované modely
    2. CPU, GPU a různé backendy
    3. llama-cli a llama-server
    4. Offloading vrstev na GPU
    5. Nastavení kontextu a parametrů inference
    6. OpenAI-compatible API
    7. Provoz na workstation a serveru
    8. Základní optimalizace a benchmarkování
  • vLLM
    1. Architektura vLLM
    2. OpenAI-compatible API
    3. PagedAttention a continuous batching
    4. Vysoká propustnost pro více uživatelů
    5. Tensor parallelism a více GPU
    6. Prefix caching a speculative decoding
    7. Kvantizované a multimodální modely
    8. LoRA adaptéry
    9. Nasazení v Dockeru a Kubernetes
    10. Monitoring a produkční provoz
  • GPUStack
    1. Správa GPU workerů a modelů
    2. Nasazení na více serverech a GPU
    3. Přidělování zdrojů, monitoring a škálování
    4. Integrace s inference enginy
  • Open WebUI
    1. Připojení Ollama, llama.cpp a vLLM
    2. Správa uživatelů a modelů
    3. Knowledge base a RAG
    4. Integrace nástrojů a interní chatbot
  • Open source modely
    1. Qwen, Gemma, Llama, Mistral, DeepSeek, GPT-OSS a další
    2. Coding, reasoning a multimodální modely
    3. Aktuální vývoj open source modelů
    4. Licence a komerční použití
    5. Benchmarky a praktický výběr modelu
    6. Kvantizace, LoRA a fine-tuning
  • Integrace s (nejen vývojářskými) nástroji
    1. VS Code
    2. Aider
    3. IntelliJ IDEA
    4. Open Code
    5. OpenClaw
    6. Continue, Cline, Roo Code a další
    7. Lokální coding assistant
    8. Agentní workflow a napojení na nástroje
  • Firemní provoz a bezpečnost
    1. Interní API a sdílení modelů
    2. Autentizace, SSO
    3. Ochrana citlivých dat
    4. Prompt injection a bezpečnost agentů
    5. Monitoring, zálohování a aktualizace
    6. RAG nad firemními dokumenty
    7. Hybridní lokální a cloudová architektura
Časový rozvrh:
2 dny (9:00-17:00)
Cena za osobu:
11 800,00 Kč (14 278,00 Kč včetně 21% DPH)

Ukázka prostředí a výuky

IT učebna se stoly, počítači s monitory a projekčním plátnem v přední části místnosti.
Jak vypadá prostředí pro prezenční IT kurzy?Školení pořádáme ve vlastních učebnách vybavených moderní výpočetní technikou pro každého účastníka a velkoplošnou projekcí. Každá stanice disponuje výkonným počítačem pro bezproblémové praktické procvičování a prostředí podporuje klid a pohodovou atmosféru během školení.
IT učebna se stoly, počítači s monitory a projekčním plátnem v přední části místnosti.
Potřebuji si na prezenční kurz IT přinést vlastní počítač?Naše učebny jsou kompletně vybavené, takže vlastní notebook nepotřebujete. Na místě na Vás čeká připravený moderní počítač se vším potřebným hardwarem a softwarem pro dané školení.
Vzor certifikátu ICT Pro o úspěšném absolvování IT školení se jménem a podpisem.
Obdržíte po absolvování IT kurzu oficiální osvědčení?Ano, po úspěšném dokončení školení získáte oficiální certifikát ICT Pro potvrzující vaše absolvování a získané technické znalosti. Můžete jej využít pro doložení kvalifikace nebo přiložit ke svému profesnímu profilu.
Pohled na moderní administrativní budovu COMGUARD v Brně na Sochorově ulici.
Kde najdete naše školicí centrum v Brně?Prostory školicího centra ICT Pro s.r.o. se nachází v 1. patře budovy COMGUARD na adrese Sochorova 38 v Brně. Místo na rozhraní Žabovřesk a Komína je snadno dostupné autem i městskou hromadnou dopravou.
Pohled na moderní budovu Opatov Park v Praze na Chodově.
Kde najdete naše školicí centrum v Praze?Prostory školicího centra ICT Pro s.r.o. se nachází v 1. poschodí budovy Opatov Park na adrese Líbalova 1, Praha 11 – Chodov. Místo nabízí pohodlné zázemí pro vaše vzdělávání s výbornou dostupností.
Vybavená kuchyňka s kávovarem, mikrovlnnou troubou, dřezem a poličkami plnými hrnků a sklenic.
Jaké zázemí a občerstvení je pro vás připraveno během přestávek?V našich školicích centrech máte k dispozici plně vybavenou kuchyňku pro pohodlný odpočinek během přestávek. Součástí zázemí je kávovar, mikrovlnná trouba, varná konvice i široký výběr nápojů a občerstvení.
Kávový koutek s automatickým kávovarem, žlutými a bílými hrnky, sklenicemi a sirupy.
Jaké nápojové osvěžení je pro vás připraveno na kurzu?Během celého školení je vám k dispozici nápojový koutek s kávovarem, čaji, sirupy a vodou. Můžete si tak kdykoliv během přestávky dopřát kávu nebo jiný nápoj podle chuti.
Stůl s přichystaným sladkým pečivem, sirupy, dávkovačem vody a sklenicemi pro účastníky školení.
Jaké drobné občerstvení je pro vás v rámci kurzů připraveno?Během přestávek na kurzech je účastníkům k dispozici drobné sladké občerstvení, pečivo a sirupy pro namíchání vlastní limetkové či ovocné limonády. Nechybí ani čerstvá voda a talířky pro pohodlné servírování.
Proutěné košíky naplněné balenými slanými snacky, sladkými sušenkami a tyčinkami.
Mám si na školení ICT Pro brát svačinu?Nemusíte. Během přestávek je pro vás připraven bohatý výběr slaných pochutin i sladkých sušenek a tyčinek. Energie na celodenní soustředění je tak vždy po ruce přímo v prostorách školicího centra.
Venkovní dřevěná terasa s výhledem do zeleně u prosklené budovy školicího centra.
Můžete trávit přestávky během školení na čerstvém vzduchu?Ano, v našem školicím centru je vám k dispozici venkovní terasa. Během přestávek mezi bloky výuky si tak můžete odpočinout na čerstvém vzduchu v příjemném prostředí obklopeném zelení.
Prostorná venkovní dřevěná terasa s posezením a výhledem do okolí u budovy.
Kde si můžete odpočinout během přestávek na školení?V našem školicím centru máte k dispozici prostornou venkovní terasu s posezením. Během přestávek mezi bloky výuky si tak můžete odpočinout a načerpat energii na čerstvém vzduchu.