Pracuję przy AI w systemie ERP na co dzień i właśnie dlatego wiem, ile takich projektów kończy się kosztem bez efektu. Poniżej trzy nasze własne potknięcia, to, w czym AI naprawdę jest słabe, i pięć pytań, które warto sobie zadać, zanim firma wyda na nie pierwszą złotówkę.
Lampka u człowieka, który AI sprzedaje
Gdybym zaczął od tego, że mam znajomego, któremu zapala się czerwona lampka, kiedy słyszy o wdrażaniu AI w firmie, pewnie pomyślelibyście o kimś z działu, który boi się zmian. Albo o księgowym, który od trzydziestu lat prowadzi wszystko w Excelu i dobrze mu z tym.
Tyle że ten mój znajomy to prezes CFI, firmy, która produkuje i rozwija system Vendo.ERP i sama też sprzedaje w nim AI. I nie powiedział tego przy kawie, tylko na szkoleniu dla własnych handlowców. Ludzi, którzy to AI mają oferować klientom.
Jego myśl była prosta. Wdrażanie AI dlatego, że wszyscy wdrażają, oznacza dodatkowe koszty, zaangażowanych ludzi i znikomy efekt. Kluczem nie jest sam zakup, tylko zrozumienie, co AI potrafi, a czego nie.
Słuchałem tego na Zoomie i pomyślałem, że to najuczciwsza rzecz, jaką można powiedzieć handlowcom przed rozmowami z klientami. Pracuję w zespole, który to AI buduje. Widziałem z bliska, jak nasze własne pomysły rozbijały się o rzeczywistość. Dlatego zamiast listy „błędów przy wdrażaniu” opiszę trzy mechanizmy porażki, każdy na historii z naszej pracy. Bez nazw klientów, ale bez upiększania.
Pewność siebie bez pokrycia
Asystent AI podłączony do ERP dostał od użytkownika prostą prośbę: utwórz zadanie. Odpowiedział: „✅ utworzono”. Z ptaszkiem, rzeczowo, tak jak odpowiada program, który właśnie coś zrobił.
Zadania w systemie nie było. Model nie wywołał żadnej operacji w ERP. Po prostu napisał tekst, który wyglądał jak potwierdzenie sukcesu, bo tak zwykle wyglądają odpowiedzi w takich rozmowach.
To nie był błąd w kodzie, który można raz poprawić i zapomnieć. Model językowy z natury produkuje wiarygodnie brzmiący tekst. Zwykle ten tekst zgadza się z rzeczywistością. Czasem nie, i nie ma w nim żadnego sygnału, który by to zdradził.
Poprawka, którą wprowadziliśmy, nie polega na tym, że „nauczyliśmy model nie kłamać”. Polega na tym, że system porównuje to, co model zadeklarował, z operacjami, które faktycznie wykonał. Jeśli deklaracja mówi „utworzono”, a żadnego zapisu nie było, użytkownik dostaje dopisane sprostowanie.
Lekcja dla firmy: AI w biznesie sprawdza się po skutkach w systemie, nie po tym, co mówi. Jeśli w waszym projekcie nikt nie odpowiedział na pytanie „skąd będziemy wiedzieć, że to naprawdę się stało?”, to jest pierwsze miejsce, w którym projekt się wyłoży.
Przerost formy
Druga historia jest mniej spektakularna, ale kosztowała więcej.
Model AI, żeby cokolwiek zrobić w ERP, musi dostać opis dostępnych narzędzi: co może odczytać, co może zapisać, jakie parametry podać. Ten opis model czyta przed każdą odpowiedzią i za każde przeczytane słowo się płaci. Mierzy się to w tokenach, z grubsza kawałkach słów.
Pierwsze podejście było naturalne: dajmy modelowi wszystko. Ponad sto narzędzi, pełny dostęp do systemu. Wyszło około 200 tysięcy tokenów kontekstu na jedną rozmowę. Potem przygotowaliśmy przemyślaną wersję tego samego dostępu: zwięzłe, lepiej opisane narzędzia, podawane modelowi wtedy, gdy są potrzebne, a nie wszystkie naraz. Około 74 tysięcy tokenów.
Efekt dla użytkownika był ten sam. Koszt rozmowy spadł do ułamka. A model miał mniej okazji do pomyłki, bo naraz widział mniej. Kiedy do tej samej czynności pasują trzy podobne narzędzia, model czasem wybiera nie to, które trzeba. Człowiek zresztą też.
Lekcja: więcej możliwości nie znaczy lepiej. Projekt, który zaczyna się od „podłączmy AI do wszystkiego”, płaci za to dwa razy: w rachunku i w liczbie pomyłek.
Dane gorsze niż AI
Trzecia historia jest najświeższa i najbardziej pouczająca.
Budowaliśmy „radar projektów”, narzędzie do wczesnego ostrzegania o projektach, które gasną. Pomysł był prosty: z danych, które już są w ERP (zadania, umowy, zaraportowany czas), wyłapać projekty, przy których nikt nic nie robi albo które przestały przynosić efekt.
Pierwszy pełny przebieg świecił na czerwono prawie połowę projektów.
Nie dlatego, że tyle było w kłopocie. Po rozłożeniu wyniku na części okazało się, że 32% umów serwisowych nie miało wpisanej wartości. Radar nie miał więc jak ocenić, czy praca się opłaca. Do tego około 600 zadań było otwartych od ponad roku. Nie dlatego, że ktoś nad nimi pracował, tylko dlatego, że nikt ich nie zamknął.
Żaden model, nawet najlepszy, nie wyczaruje wartości umowy, której nikt nie wpisał. AI nie naprawia bałaganu w danych. Wzmacnia go i bezlitośnie pokazuje.
I tu ciekawostka: to akurat okazało się największą wartością tego projektu. Ale do tego jeszcze wrócę.
Gdzie AI naprawdę jest słabe?
Kiedy pokazywałem radar prezesowi CFI, zapytał: „jakim promptem powstaje ta ocena?”.
Odpowiedź brzmiała: żadnym. Wszystkie liczby w radarze liczy zwykły kod według stałych reguł. Gdybyśmy kazali to policzyć modelowi, za każdym razem dostalibyśmy trochę inny wynik i nie dałoby się go sprawdzić. Ocena projektu, która zmienia się od tego, w który dzień ją uruchomisz, jest bezwartościowa.
- To jest pierwsza słabość, o której mało kto mówi otwarcie: AI nie jest do arytmetyki. Jest do oceny, komentarza, czytania i pisania tekstu. Do liczenia mamy narzędzia, które robią to od dziesięcioleci, tanio i powtarzalnie.
- Druga: AI nie zna specyfiki twojej firmy, dopóki jej nie dostanie. Nie wie, że u was „pilne” znaczy „do piątku”, że klient X płaci zawsze trzy tygodnie po terminie i nikt się tym nie przejmuje, ani że jeden asortyment liczy się w sztukach, a drugi w metrach. Model zna świat ogólnie. Waszą firmę zna tylko z tego, co mu pokażecie.
- Trzecia: AI nie wie, czego nie wie. Zapytane o coś, czego w danych nie ma, rzadko odpowie „nie wiem”. Częściej poda coś prawdopodobnego. To ten sam mechanizm co przy „✅ utworzono”, tylko w wersji z liczbami i nazwiskami.
- Czwarta, najmniej oczywista dla kogoś spoza branży: treść, którą AI czyta, może nim sterować. Jeśli asystent czyta maile od klientów, to ktoś może w treści maila napisać polecenie, a model potraktuje je jak instrukcję od was. To się nazywa prompt injection i jest powodem, dla którego AI z dostępem do zapisu w ERP i do skrzynki pocztowej jednocześnie wymaga dużo ostrożności.
Co działa?
Mój kierunek jest mniej efektowny niż „strategia AI dla całej firmy”.
AI ma być proste i intuicyjne. Na tyle, żeby wasz zespół mógł je przejąć i rozwijać bez stałej obecności konsultanta. Ma brać na siebie zadania, których ludzie nie lubią albo nie chcą robić: przypominanie o terminach, pilnowanie, czy proces nie utknął, przeglądanie danych, które trzeba przeglądać regularnie, a które z czasem robią się nudne i uciążliwe. Dokładnie te rzeczy, które w każdej firmie „ktoś powinien sprawdzać co tydzień” i które w praktyce sprawdza się raz na kwartał.
Radar projektów jest dla mnie przykładem dobrego, małego zastosowania. Tylko obserwuje, niczego w systemie nie zapisuje, więc nie może niczego zepsuć. Liczy z danych, które już są, więc nie wymaga od nikogo dodatkowej pracy. Liczby liczy kod, a AI może je najwyżej skomentować.
A jego pierwszą realną korzyścią nie było wykrycie gasnących projektów. Było nią wykrycie bałaganu w danych: umów bez wartości i setek zadań-zombie, o których wszyscy zapomnieli. W następnej wersji odfiltrowaliśmy te przypadki i pokazujemy je osobno jako listę do posprzątania. To porządek, który przyda się firmie niezależnie od tego, czy kiedykolwiek wróci do tematu AI.
Test przed wdrożeniem: 5 pytań na 10 minut
Zanim podpiszecie cokolwiek, co ma w nazwie „AI”, proponuję usiąść z kartką i odpowiedzieć sobie na pięć pytań. Dotyczą jednego, konkretnego zadania, nie „AI w firmie” w ogóle.
1.Czy to zadanie się powtarza i czy ludzie go nie lubią?
Jednorazowa analiza nie uzasadnia budowy narzędzia. Cotygodniowa nuda, którą wszyscy odkładają, uzasadnia.
2. Czy da się sprawdzić wynik, nie wierząc AI na słowo?
Jeśli jedynym dowodem, że coś się stało, jest odpowiedź modelu, to na razie nie macie wdrożenia, tylko obietnicę.
3. Kto po naszej stronie odpowiada za efekt?
Konkretna osoba z nazwiskiem, nie „dział IT” i nie dostawca. Jeśli takiej osoby nie ma, projekt umrze po pierwszym kłopocie.
4. Czy dane pod spodem są w porządku?
Wybierzcie losowo dwadzieścia rekordów, których to zadanie dotyczy, i przejrzyjcie je. Jeśli co trzeci ma braki, AI te braki tylko powiększy.
5. Czy nasz zespół przejmie to bez konsultanta?
Jeśli po pół roku każda zmiana wymaga wizyty z zewnątrz, kupiliście abonament, nie narzędzie.
Uwaga: trzy odpowiedzi „nie” to dobry powód, żeby zacząć od czegoś innego. Na przykład od posprzątania danych.
Lampka może zgasnąć
Jeden mały, nudny proces zrobiony dobrze daje więcej niż strategia AI na całą firmę. Taki, który da się sprawdzić, który ktoś u was rozumie i który zdejmuje z ludzi robotę, której nie lubią.
Czerwona lampka prezesa jest moim zdaniem zdrowym odruchem i nie namawiam nikogo, żeby ją wyłączał. Może zgasnąć. Ale nie dlatego, że ktoś nas przekonał prezentacją. Dlatego, że zobaczyliśmy wynik.
Autor artykułu – Bogdan Czarnecki
Specjalista ds. integracji sztucznej inteligencji z systemami ERP, współpracujący z CFI Systemy Informatyczne. Projektuje i wdraża konektory, które pozwalają użytkownikom systemu Vendo pracować z danymi firmy bezpośrednio w asystentach AI, takich jak Claude i ChatGPT. Wcześniej przez blisko 20 lat zajmował się zapewnieniem jakości i lean manufacturing, a następnie wdrożeniami ERP. Od trzech lat łączy te doświadczenia, budując praktyczne rozwiązania AI dla firm
