Az AI asszisztens oda-vissza ismeri a cégedet, és belső adatokból dolgozik
A ChatGPT túl általános tanácsokat ad? Nem tudja kivel szerződtél és mire 5 évvel ezelőtt? Nem tudja megmondani az alkalmazottaknak hogyan lesznek a szabadságolások idén? Ha elmegy egy kolléga nem őrzi meg cégen belül a tudását és munkafolyamatait?
Pontosan erre lesz az egyetlen biztonságos megoldás a lokális AI + RAG rendszer futtatása.
- Miről szól ez a szolgáltatás
Ha szeretnél szintet lépni, és az AI-t cégreszabottan használni, akkor itt az ideje saját lokális rendszert építeni:
Kell egy (vagy akár több) erős saját hardver, ami el lesz helyezve az irodában és a lokális hálózatra kötve folyamatosan fut
Ezen a hardveren fut a cég saját AI-ja, akár internet kapcsolat nélkül is. Ez bármelyik erős open source modell lehet (pl. Qwen, Mistral, Llama, Deepseek, Kimi stb.)
Szuperbiztonságos: Az AI-nak beírt/átadott adatok nem hagyják el a cég irodáját. Ez az AI használatának egyetlen 100%-ig biztonságos módja.
Ezt a lokálisan futó AI modellt kiegészítjük RAG rendszerré, ami lehetővé teszi, hogy a cég saját dokumentumaiból tudjon biztonságosan dolgozni
Ezt a rendszert az irodán belül LAN hálózaton kereszül eléri bármelyik kolléga, saját profilokkal, különböző szintű jogosultsággal.
Az irodán kívülről senki nem éri el a belső AI-t és a neki átadott dokumentumokat.
A rendszer kialakításának és hatékony használatának fontos feltétele a megfelelő adat struktúra, valamint a cégen belüli felelősségek és folyamatok tisztázása, jól dokumentáltsága
A szolgáltatás menete
1. Céges audit & Állapot feltérképezés [Ingyenes]
Egy online meeting során – egy gyors bemutatkozást követően – feltérképezzük hol tart a cég a szolgáltatás feltételeiben, és mi lenne a konkrét use-case, hány ember használná és mire stb.
Ezt követően meghatározzuk milyen hardverrel és AI modellel érdemes elindulni, vagy ha van már konkrét elképzelés/igény, akkor ennek a részleteit beszéljük át.
A meeting után elkészítjük a megbeszélt szolgáltatásokra az árajánlatot.
2. Hardver beszerzés
Az árajánlat elfogadása után első lépésként be kell szerezni a megfelelő hardvert. Ebben tudunk segíteni mi is, de a legegyszerűbb ha a segítségünkkel inkább a cég intézi.
3. Rendszer beüzemelése
Amint megérkezett a hardver, mi helyszíni kiszállással 1-2 nap alatt beüzemeljük a teljes rendszert.
A helyszínen szükségünk lesz internet hozzáférésre, munka állomásra (1db asztal+szék), valamint minimális helyi segítségre pl. a cég saját admin jelszavának beállításához.
4. Céges adatok és felelősségi körök
A rendszer beüzemelése után feltöltjük a kezdeti adatokat, közösen meghatározzuk az adat struktúrát és a cég kijelöli a megfelelő felelősöket és munka folyamatot (ki, mikor, melyik adatot tölti fel és hova).
A rendszer hatékony működéséhez azt folyamatosan el kell látni a legfrissebb céges információkkal.
A lépés során létrehozzuk és beállítjuk a vezetői szintű profilokat.
Ez lesz a leghosszabb és legkritikusabb lépés a közös munkában, itt folyamatos aktív segítségre lesz szükségünk – vezetői szinten – a cégtől.
5. Tesztelés, átadás és betanítás
A sikeres adatfeltöltés után teszteljük a teljes rendszert, javítjuk ha kell, majd élesítjük.
Egy egész napos betanítás során közösen létrehozzuk a dolgozói profilokat is, és mi elmagyarázzuk a rendszer működését és helyes használatát.
- Hogyan épül fel a rendszer
Milyen elemekből áll egy ilyen rendszer?
Egy lokálisan futtatott AI + RAG rendszer számos cserélhető elemből épül fel, amiket mi használunk mind piacvezető iparági sztenderd eszközök, és mindegyik open-source megoldás (ingyen futtatható):
Docker & Python alapok
A teljes rendszer Docker konténerekben fut, Python alapokon. Kérdés nélkül ez a két legalkalmasabb eszköz a feladatra.
Orchestration layer
A rendszer legfelső szintje a „karmester”, ő az aki összeköti a rendszer egyes elemeit, és mozgatja az adatokat. Többnyire LlamaIndex-et vagy LangChain-t használunk erre a célra.
LLM futtatási környezet
Ez futtatja az AI modellt lokálisan a gépünkön, ez lesz a rendszer agya. Többnyire Ollama-t, LM Studio-t vagy llama.cpp-t használunk erre a célra, kiegészítve egy erős open-source LLM modellel, amit még elbír futtatni az adott hardver.
Vektor adatbázis
Ebben tárolódnak el a dokumentumok, videók, hanganyagok, amikből tud majd dolgozni az AI.
A hagyományos adatbázisokhoz képest ez jóval összetettebb, ami lehetővé teszi, hogy az AI ne csak kulcsszó, hanem jelentés alapján is tudjon keresni benne.
Kiegészítő eszközök
Az alapokat ki lehet egészíteni pl. multimédia feldolgozó vagy akár kép- és videógeneráló eszközökkel is.
Webes felület
Ez lesz maga a felület, amin keresztül ugyanúgy chatelhetünk az AI-al, mintha a ChatGPT-t használnánk. Erre minden esetben az OpenWebUI nevű kiváló eszközt használjuk.
Példa egy lokális RAG rendszer felépítésére (kattints rá a nagyításhoz)
Hardver
Mivel minden lokálisan fut, ezért ehhez az egész rendszerhez kell egy erős, megbízható hardver, ami dedikáltan csak ezt a célt szolgálja.
Erre mi minden esetben egy megfelelően paraméterezett Mac Mini-t szoktunk javasolni első körben, még akkor is ha soha nem használtak még Mac-es felületet az adott cégnél.
Ha úgy döntöttél belevágsz, akkor kezdjük el egy kötetlen ingyenes online meeting-el!
Foglalj egy időpontot a Calendly rendszerünkben! Nagyon egyszerű a folyamat, csak egy név és email cím kell hozzá
Kérünk a megjegyzésben pár mondatban írd meg, hogy nagyjából mire lesz szükséged a tanácsadás során, hogy hol tart a cég.
Bármikor lemondhatod a foglalást