Gondoltál már arra milyen jó lenne a céged adataival „beszélgetni”? Vagy jó lenne egy olyan AI asszisztens, ami azonnal tud minden kérdésedre válaszolni a cégeddel kapcsolatban, mert kívül-belül ismeri azt? Na ez az, amire már nem elég a ChatGPT, ideje szintet lépni az AI üzleti felhasználásában!
Remélem nem töltesz fel céges dokumentumokat a ChatGPT-nek
Számos botrányról számoltak be az utóbbi időkben, hogy akár csak egy apróbb bug miatt is kikerültek nyilvánosságra a felhasználók beszélgetései és fájljai, sőt, olyan is előfordult, hogy más felhasználók fértek hozzá emiatt ilyen fájlokhoz. De ha ez nem lenne elég, emellett számos szolgáltatónál nyíltan le van írva, hogy a fejlesztők minőségellenőrzés céljából minden további nélkül hozzáférhetnek a beszélgetésekhez, a feltöltött fájlokat és beszélgetéseket pedig felhasználhatják a modell trénelésére.
Ne, hangsúlyozom NE tölts fel olyan dokumentumokat (és ne is kérdezz olyanokat), amik bizalmas céges (vagy személyes) adatok. De akkor mi a megoldás?
Mi az a RAG rendszer?
Röviden: a RAG (Retrieval-Augmented Generation) egy olyan technológiai megoldás, amely összeköti a mesterséges intelligencia nyelvi modelljét (LLM) a vállalat saját, belső dokumentumaival, így az AI a válaszadás előtt képes releváns információkat kikeresni a céges fájlokból.
Ez a gyakorlatban azt jelenti, hogy az AI nem az internetről, hanem a te általad napi szinten használt excelekből, dokumentumokból ad választ a kérdésedre, amivel radikálisan lecsökken a halucináció esélye is. Ez úgy működik, hogy te a számítógépen létrehozol egy mappát, amiben rendszeresen elhelyezed és frissíted pl. az aktuális pénzügyi jelentést, az éves marketing tervet költségvetéssel együtt, vagy éppen a szabadságolások menetét az adott nyári/ünnepi szezonban. Ezután az AI hozzáférést kap ezekhez, és ezek alapján tud válaszolni az ügyvezetőnek a havi teljesítményről, a dolgozóknak pedig az évben hátralévő szabadnapjaik számáról.
Oké, de milyen AI férhet hozzá ehhez? Nem pont ez a probléma?
Lokálisan futtatott AI + RAG
A RAG rendszernek természetesen csak egy biztonságos AI-al kiegészülve van értelme. Ezt úgy lehet megoldani, hogy a nyelvi modell internettől függetlenül lokálisan fut a gépen, és így az információ sosem hagyja el az irodát. Ez természetesen egy erős, erre a célra elválasztott hardvert igényel, aminek a pontos adatait majd egy másik cikkben vesszük át. Ez a hardver futtatja az AI + RAG rendszert, és ez lokálisan (LAN hálózat) elérhetővé tehető az irodában lévő többi számítógépről is.
Hogy lehet ilyet építeni és mennyibe kerül?
Az építés menetét és az ehhez szükséges szoftveres környezetet és elemeket egy másik cikkben beszéljük át, de a lényeg; kell hozzá némi IT-s véna, hogy az ember otthon ilyet építsen magának, de ma már egyáltalán nem lehetetlen.
Egy ilyen rendszer ára három részből tevődik össze; a hardver, a szoftver és a munka.
Ezek közül szinte minden esetben a hardver lesz a legnagyobb tétel, ugyanis elég erős vas kell a komolyabb modellek futtatásához. Ez rengeteg mindentől függ, de itt egy egyszerű példa: ha szeretnénk egy ilyen rendszert, ami futtat egy közepesen okos modellt egyszerre 5-10 embernek vagy egy nagyon okos modell egyszerre egy embernek, akkor érdemes egy nagyjából egy millió forintra specifikált Mac Mini irányába elindulni, ami mára szinte iparági sztenderddé vált.
A Mac legnagyobb előnye a unified memory, ami azt jelenti, hogy a videó memória és a ram egyformán felhasználható a nyelvi modell számára a natív apple silicon támogatás miatt, így jelentősen több szükséges memória érhető el hasonló áron.
A szoftver költsége lesz a legszimpatikusabb, ez a gyakorlatban nulla forint is lehet. A rendszerhez szükséges összes piacvezető komponens nyílt licensszel futtatható lokálisan, beleértve a nagy ingyenes LLM modelleket is. Ahol esetleg mégis keletkezhet költség, ha nem elégszünk meg az ingyenes modell teljesítményével, és mindenképp a legújabb Claude vagy ChatGPT modellhez közeli teljesítményre van szükségünk, de ez nagyon ritkán indokolt.
Az utolsó költség tétel a kivitelezés díja, ami már tényleg annyira eltérő cégenként és szolgáltatásonként, hogy ezt meg sem kíséreljük itt kifejteni. Viszont egy konzultáció során általában minden kivitelező tud adni egy cégre szabott ajánlatot. Az ár sokszor összefügg a kiváltott munka mennyiségével, sebességével vagy minőségével, ami ad némi támpontot, de ez tényleg minden cégnél egyedi lesz.
Ha megtetszett egy ilyen rendszernek a gondolata, akkor foglalj egy ingyenes 1 órás konzultációt velünk, ahol már konkrét számokkal és eszközökkel a cégedre szabva tudjuk átbeszélni a lokálisan futtatott AI + RAG rendszer bevezetését.