Publicystyka - ngo.pl

O tym, czym są lokalne modele LLM, jak działają i jak wybrać pierwszy model do przetestowania, pisaliśmy już szeroko na portalu Sektor 3.0 w tekście: Lokalne modele AI, czym są i dla kogo?. Jeśli dopiero zaczynasz swoją przygodę z tematem, warto zacząć właśnie tam.

W tym artykule chcemy odpowiedzieć na pytanie: czy mojej organizacji w ogóle opłaca się rozważyć wdrożenie lokalnej AI? Skupimy się więc na konkretnych korzyściach i równie konkretnych wyzwaniach, z którymi organizacja społeczna zetknie się w praktyce, zanim jeszcze zdąży pobrać pierwszy model.

Poniżej zebrałam dla Was kilka najważniejszych powodów, dla których warto rozważyć lokalne modele sztucznej inteligencji.

Dane wrażliwe zostają na miejscu

To najczęściej wymieniany powód sięgania po lokalne modele AI. Organizacje pracujące z danymi podopiecznych, aktami spraw czy wrażliwymi danymi osobowymi zyskują pewność, że treści, które wklejają do czatu z AI, nie trafiają na serwery zewnętrznego dostawcy, dane pozostają na dysku. Ma to szczególne znaczenie tam, gdzie obowiązek zachowania poufności wynika wprost z przepisów (np. praca z osobami doświadczającymi przemocy, dziećmi, dokumentacja prawna) albo z umów powierzenia danych z darczyńcami i grantodawcami. Macie tu pełną kontrolę nad danymi.

Koszty stają się przewidywalne

Subskrypcje narzędzi AI i opłaty za korzystanie z API rosną wraz ze skalą pracy zespołu. Model uruchomiony lokalnie nie generuje kosztów za każde zapytanie, największym wydatkiem jest sprzęt (jednorazowo). Dla organizacji planujących budżet na wiele miesięcy do przodu, bez pewności co do wysokości grantu w kolejnym roku, taka przewidywalność bywa istotniejsza niż najwyższa jakość odpowiedzi, są to często także znaczące oszczędności.

Praca offline i w terenie

Organizacje działające w miejscach o słabym dostępie do Internetu, podczas wyjazdów terenowych, w placówkach bez stabilnego łącza, w trakcie interwencji, zyskują narzędzie, które działa niezależnie od sieci. To scenariusz rzadko rozważany przy pracy z ChatGPT, a bywa ważny np. dla organizacji humanitarnych czy działających w mniejszych miejscowościach.

Niezależność od decyzji dostawcy

Zmiana cennika, wycofanie darmowego planu, zmiana regulaminu dotyczącego wykorzystania danych do trenowania dużych modeli językowych – to ryzyka, na które organizacja korzystająca z komercyjnej chmury nie ma wpływu. Model lokalny, raz pobrany, działa tak długo, jak długo działa sprzęt, na którym go uruchomiono.

Możliwość dopasowania do własnych zasobów

Dzięki podejściu RAG (Retrieval Augmented Generation), o którym więcej przeczytacie w tekście na portalu Sektor 3.0, organizacja może zbudować własną bazę wiedzy np. z procedur, regulaminów, dokumentacji projektów i rozmawiać z nią przez lokalny model, bez wysyłania tych dokumentów do żadnej chmury.

Lokalne zaawansowane modele sztucznej inteligencji mają też kilka poważnych wad. Warto je znać i sprawdzić możliwości organizacji, zanim postanowicie oprzeć na nich strategicznie ważne działania swojej organizacji.

Sprzęt to prawdziwy koszt startowy

Modele otwarte (open source), które oferują jakość zbliżoną do komercyjnych narzędzi, potrzebują mocnej karty graficznej i sporej ilości pamięci RAM. Przeciętny laptop biurowy w organizacji, kupiony kilka lat temu do pracy w Excelu i przeglądarce, może po prostu nie udźwignąć płynnej pracy z większym modelem. Zanim zaplanujecie wdrożenie, warto zrobić rzetelny przegląd sprzętu, którym dysponujecie, i uczciwie ocenić, czy inwestycja w nowy komputer lub kartę graficzną się zwróci.

Ktoś musi być odpowiedzialny za wdrożenie

Instalacja, lokalne uruchamianie, aktualizacje, wybór odpowiedniego modelu do zadania, dopasowanie do swojego systemu operacyjnego i wymagań technicznych organizacji oraz rozwiązywanie problemów technicznych w małej organizacji, gdzie za IT odpowiada osoba „przy okazji” innych obowiązków, to realne obciążenie. Warto z góry zapytać: kto w zespole weźmie na siebie rolę opiekuna takiego rozwiązania, i czy ta osoba będzie potrafiła pomóc, kiedy coś przestanie działać?

Jakość odpowiedzi bywa niższa

Mniejsze modele, które da się uruchomić na przeciętnym sprzęcie, często ustępują dużym rozwiązaniom komercyjnym w zadaniach wymagających złożonego rozumowania, dłuższego kontekstu czy precyzyjnego posługiwania się językiem polskim. Dla prostych zadań (streszczenia, pierwsze wersje tekstów, klasyfikacja dokumentów) różnica może być niezauważalna. Dla zadań bardziej wymagających już tak.

Lokalnie nie znaczy zawsze bezpiecznie

Uruchomienie modelu na własnym komputerze nie zwalnia z podstawowych zasad bezpieczeństwa cyfrowego. Jeśli laptop z lokalnym modelem nie ma szyfrowania dysku, aktualnego systemu operacyjnego i sensownej kontroli dostępu, dane wcale nie są bezpieczniejsze niż w dobrze zabezpieczonej chmurze. Lokalna AI to jeden element układanki, a nie samodzielne rozwiązanie problemu bezpieczeństwa danych.

Utrzymanie narzędzi w czasie

Lokalny model językowy, który dziś działa świetnie, za rok może być już przestarzały wobec nowszych wersji. Aktualizacja oznacza ponowne pobieranie, testowanie i czasem zmianę konfiguracji. To praca, którą trzeba wliczyć w plan, a nie jednorazowy projekt „wdrożyliśmy i zapomnieliśmy”.

W sprawdzeniu tego pomoże Wam formatka.

Kurs Lokalne modele językowe – prywatna sztuczna inteligencja w praktyce prowadzi Kamil Śliwowski, trener kompetencji cyfrowych związany z Sektor 3.0. To praktyczne, bezpłatne wprowadzenie do tematu, które zajmuje około godziny.

Podczas kursu:

• zrozumiesz, czym jest lokalny model LLM i czym różni się od narzędzi chmurowych, takich jak ChatGPT,
• dowiesz się, kiedy lokalny model AI może być bezpieczniejszym rozwiązaniem dla organizacji pracującej z dokumentami i danymi,
• sprawdzisz, jakie wymagania sprzętowe warto wziąć pod uwagę przed uruchomieniem modelu na własnym komputerze,
• nauczysz się instalować i obsługiwać darmowy program LM Studio, a także poznasz inne modele i narzędzia AI do lokalnej pracy, w tym Ollama jako prosty sposób uruchamiania modeli AI lokalnie na komputerze,
• pobierzesz i uruchomisz swój pierwszy model językowy oraz poznasz przykłady takie jak Llama 3 i Mistral-2.

Lokalne modele językowe nie są odpowiedzią na wszystkie potrzeby organizacji społecznych i nie zastąpią automatycznie ChatGPT czy Gemini. Są za to ciekawą opcją tam, gdzie liczy się poufność danych, przewidywalność kosztów w dłuższej perspektywie albo niezależność od dostawcy z Doliny Krzemowej. Warunkiem powodzenia jest jednak uczciwa ocena własnych zasobów m.in. sprzętu, kompetencji zespołu i czasu, jaki organizacja jest w stanie poświęcić na utrzymanie takiego rozwiązania.

Interesujesz się nowymi technologiami i chcesz w oparciu o nie rozwijać swoją organizację? Zajrzyj również na portal Sektora 3.0 i dołącz do naszego newslettera, by nie przegapić kolejnych przydatnych tekstów. Zapraszamy!