Lokale AI of ChatGPT: wat kies je voor welke taak?

Een model is nog geen assistent

Een taalmodel berekent op basis van invoer welke tekst waarschijnlijk volgt. Tijdens het trainen worden de modelparameters aangepast; bij het gebruiken van een gedownload model, ook wel inference, gebruik je die bestaande parameters. Een gesprek voeren met een lokaal model is dus niet hetzelfde als dat model zelf trainen.

ChatGPT is een toepassing rond taalmodellen. De interface, gespreksgeschiedenis, beschikbare hulpmiddelen en koppelingen horen bij die toepassing. Een small language model, of SLM, benoemt juist een relatief compact model. Er is geen universele grens waar een SLM ophoudt en een LLM begint. Ze behoren tot dezelfde familie van technologie.

Installeer je een model op je laptop, dan heb je niet automatisch documentzoekfuncties, een browser of een agent die taken uitvoert. Daarvoor zijn aanvullende onderdelen nodig. Vergelijk daarom twee complete workflows: kunnen ze dezelfde documenten verwerken, krijgen ze dezelfde informatie en leveren ze een even bruikbaar resultaat?

Klein, lokaal en open zijn drie verschillende keuzes

Klein gaat over de omvang van een model. Lokaal beschrijft waar de berekening plaatsvindt. Open gewichten betekent dat de getrainde parameters beschikbaar zijn. Een klein model kan in de cloud draaien, en een model met beschikbare gewichten kan te groot zijn voor je eigen computer. Beschikbare gewichten vertellen bovendien niet vanzelf welke gebruiksrechten je hebt: controleer de bijbehorende licentie.

Ook de naam van je software is geen bewijs van lokale verwerking. Ollama ondersteunt bijvoorbeeld zowel lokale als cloudmodellen. Controleer welk model en welke bestemming je daadwerkelijk gebruikt; de documentatie beschrijft hoe je cloudfuncties kunt uitschakelen. [1]

Een verwante valkuil is “de app staat op mijn computer, dus de AI draait hier”. OpenAI maakt voor lokale taken in ChatGPT Work expliciet onderscheid tussen lokale uitvoering en modelverwerking: relevante invoer en toolresultaten kunnen alsnog naar OpenAI worden gestuurd. Lokaal werken is niet automatisch offline werken. [2]

Voor thuis: een begrensde taak is het beste startpunt

Stel dat je je eigen notities wilt omzetten in een korte weekplanning. Je levert de notities aan en vraagt om afspraken, openstaande taken en ontbrekende informatie. Dit is een overzichtelijke proef: je kent de bron, kunt fouten herkennen en hebt niet per se actuele internetinformatie nodig. Een klein lokaal model kan hiervoor het onderzoeken waard zijn.

Begin met enkele niet-gevoelige notities. Controleer of het model datums verandert, taken verzint of onzekerheid wegpoetst. Laat ontbrekende gegevens expliciet als “onbekend” staan. Pas als de kwaliteit bruikbaar is, onderzoek je de gegevensstroom voor persoonlijk materiaal.

Voor een brede vraag als “plan mijn vakantie met actuele openingstijden” is alleen een gedownload model onvoldoende. Actuele bronnen en zoekfuncties moeten ergens vandaan komen. Zodra je een externe zoekdienst toevoegt, is die workflow niet meer volledig offline. Een beheerde assistent kan dan praktischer zijn, mits de gebruikte functies en gegevensvoorwaarden bij je passen.

Het voordeel van lokaal zit dus niet noodzakelijk in een beter antwoord. Het kan ook zitten in beschikbaarheid zonder verbinding, een vaste modelversie of meer controle over de invoer. Daartegenover staan installatiewerk, opslag en het bijhouden van software.

Voor organisaties: vergelijk een werkproces, geen chatvensters

Neem een supportteam dat binnenkomende berichten naar acht categorieën wil routeren. De waarde zit niet in hoe overtuigend een model kan praten, maar in hoeveel berichten correct worden toegewezen en hoeveel kritieke meldingen het mist. Een compact model kan hier onderdeel van een kleine, herhaalbare toepassing zijn.

Die toepassing heeft ook invoercontrole, toegestane categorieën, een route voor twijfelgevallen en een koppeling met het ticketsysteem nodig. Een correct gevormd antwoord is nog niet inhoudelijk correct. Laat het model bijvoorbeeld een categorie voorstellen, maar laat gewone programmalogica controleren of die categorie bestaat.

Vergelijk dit niet alleen met een groot taalmodel. Een bestaand classificatiemodel, trefwoordregels of betere zoektechnologie kan eenvoudiger en goedkoper zijn. Generatieve AI heeft vooral meerwaarde als die extra complexiteit aantoonbaar iets oplevert.

Gebruik je bedrijfsdocumenten, dan is het onderscheid tussen gebruikers belangrijk: dezelfde assistent mag niet automatisch voor iedereen dezelfde documenten kunnen ophalen. Het recht om een model aan te roepen geeft geen recht op alle informatie waarmee de toepassing werkt.

Waar gaan je gegevens werkelijk heen?

Loop de hele route na: invoer, documentverwerking, modelaanroep, eventuele zoekdienst, logging en opslag van het antwoord. Een lokaal model met een cloudgebaseerde documentverwerker kan alsnog teksten buiten je apparaat verwerken. Een browserinterface met een lokale server kan daarentegen zonder externe modelaanroep werken.

Cloud is ook geen enkelvoudige categorie. OpenAI vermeldt voor zakelijke ChatGPT-omgevingen dat bedrijfsgegevens standaard niet voor modeltraining worden gebruikt. Bewaartermijnen en verwerking hangen van de omgeving en instellingen af. “Niet voor training” betekent dus niet “wordt nergens opgeslagen”. Trek deze zakelijke garanties niet zonder controle door naar een persoonlijk account. [3]

Voor een lokale proef: download eerst software en model, verbreek daarna de verbinding en herhaal je volledige taak. Werkt die nog? Dat toont offline functionaliteit aan, maar bewijst niet dat de software bij een latere verbinding niets verstuurt. Controle van instellingen en netwerkverkeer blijft een afzonderlijke stap.

Kies op kwaliteit, moeite en gebruiksfrequentie

Een bruikbare keuze begint met drie vragen. Kan de oplossing jouw taak voldoende goed uitvoeren? Past de gegevensverwerking bij jouw grenzen? En is de totale inspanning in verhouding tot het gebruik?

• Af en toe breed experimenteren: een beheerde assistent kan veel inrichting uit handen nemen. Controleer wel welke functies je abonnement werkelijk bevat.
• Een vaste taak op één apparaat: probeer een lokaal model met je bestaande hardware en een kleine verzameling testgevallen.
• Een gedeeld bedrijfsproces: vergelijk naast modelkwaliteit ook toegang, capaciteit, beheer en de tijd die mensen kwijt zijn aan correcties.

Gratis modelgewichten maken het gebruik niet kosteloos. Je betaalt mogelijk met hardware, stroom en tijd. Omgekeerd is een cloudprijs per aanroep niet de volledige rekening als medewerkers elk antwoord uitgebreid moeten herstellen. Reken voor zakelijke toepassingen liever met kosten per bruikbaar afgehandelde taak.

Een hybride oplossing kan een tussenweg zijn: eenvoudige taken lokaal, complexe taken elders. Maak zo'n overgang zichtbaar en optioneel waar nodig. Een stille cloudfallback ondermijnt juist de reden waarom iemand voor lokaal koos.