De strijd tegen e-mailspam is een constante uitdaging in de hedendaagse bedrijfswereld. Onze reis in het verbeteren van spamdetectie heeft ons van traditionele methoden naar de voorhoede van AI-gestuurde oplossingen gebracht. In dit artikel delen we de evolutie van onze spamdetectie-aanpak.
Onze uitdaging: spam in Salesforce cases overwinnen
Laten we eerst duiken in de unieke uitdagingen die we tegenkwamen met Microsoft 365 en Salesforce. We ontvingen e-mails via gedeelde mailboxen zoals info@ in Microsoft 365, die automatisch werden doorgestuurd naar Salesforce als cases. Dit proces creëerde een onverwachte uitdaging: een gebrek aan effectieve antispamfilters. Zonder filters in Microsoft 365 en Salesforce, overspoelden ongefilterde spammails onze Salesforce-cases, waardoor onze teams inefficiënt en overbelast raakten.
Eerste stappen: Beperkte bescherming met traditionele AI
Onze eerste pogingen om spam aan te pakken met traditionele AI, zoals SpamAssassin met Bayesian filters, leverden beperkte bescherming op. We konden slechts 25% van de spam filteren, wat ons ertoe aanzette om verder te zoeken naar verbeteringen.
ADA: een sprong voorwaarts
Geconfronteerd met deze beperkingen, hebben we in 2022 onze eerste stappen gezet naar een meer geavanceerde AI-oplossing. We ontwikkelden een aangepast model gebaseerd op ADA, een voorganger van ChatGPT 3.5. Dit model bracht een significante verbetering in onze spamdetectie, met een nauwkeurigheidsratio van ongeveer 90%. Een belangrijk voordeel van dit ADA-gebaseerde model was dat het geleidelijk kon worden verbeterd door finetuning, terwijl de operationele kosten verrassend laag bleven.
Overgang van ADA naar GPT-3.5 Turbo
Met het einde van ADA’s levensduur in zicht, zochten we naar geavanceerdere AI-oplossingen en kozen voor GPT-3.5 Turbo. Hoewel deze overstap een stap vooruit was in de technologie, voldeed de standaardversie van GPT-3.5 Turbo niet aan onze verwachtingen, met een nauwkeurigheid van slechts 60% in spamdetectie. Deze uitkomst benadrukte de noodzaak van een meer gespecialiseerde aanpak.
Ons eigen GPT-3.5 model: de doorbraak
We namen het heft in eigen handen en ontwikkelden een aangepast GPT-3.5 model. Met 10.000 zelf verzamelde ham- en spammails, bereikten we een nauwkeurigheid van 99%. Echter, bij pogingen tot verdere finetuning van dit model, stuiten we op uitdagingen. Door enkel spam toe te voegen, begon het model alles als spam te classificeren, en vice versa met ham. Ondanks de theorie dat bestaande modellen verder gefinetuned kunnen worden, bleek dit in de praktijk niet effectief.
Een grootschalige oplossing: 99.7% nauwkeurigheid
Onze oplossing? Een grootschalige aanpak. We trainden een volledig nieuw model met 30.000 e-mails, in combinatie met SpamAssassin. Dit leverde een nauwkeurigheid van 99.7% op, wat bewees dat uitgebreide datasets de sleutel zijn tot succesvolle AI.
Conclusie: de pijler van onze e-mailautomatisatie
Onze reis in AI-gestuurde spamdetectie onderstreept niet alleen onze voortdurende innovatie en aanpassing, maar ook hoe deze technologie de ruggengraat vormt van onze algehele e-mailautomatisatie. Door efficiënt spam te detecteren en te filteren als de eerste stap, voorkomen we dat kostbare tijd en middelen worden verspild aan het verwerken van ongewenste e-mails. Dit zorgt ervoor dat onze geavanceerde AI zich kan richten op het beantwoorden van legitieme klantenvragen.
