Dankzij voortdurende technologische vooruitgang kunnen steeds meer taken worden geautomatiseerd met machine vision. Een bijzonder uitdagend project werd met succes voltooid bij het farmaceutische bedrijf Aspen Notre-Dame-De-Bondeville, waar gevulde ampullen moesten worden geïnspecteerd op vreemde voorwerpen. Met de HALCON machine vision-software van MVTec en de ondersteuning van het klantenserviceteam van MVTec werd de kwaliteitsborging naar een hoger niveau getild.
Kunstmatige intelligentie wordt steeds gangbaarder in industriële omgevingen en maakt het mogelijk om zelfs veeleisende taken te automatiseren. Bedrijven profiteren hiervan door aanzienlijke efficiëntiewinst op verschillende gebieden. Machine vision is bijzonder geschikt voor dit gebied, omdat in productieomgevingen snel grote hoeveelheden beelden beschikbaar zijn als trainingsdata.
Het farmaceutische bedrijf Aspen, met hoofdkantoor in Durban, Zuid-Afrika, zag ook een kans om te profiteren van de voordelen van machine vision in combinatie met deep learning. Het bedrijf, dat actief is in de gezondheidszorg en farmaceutische industrie, heeft ook vestigingen in Europa, waaronder Notre-Dame-de-Bondeville in Frankrijk. Daar weegt en mengt het bedrijf de componenten van de medicijnformule en vult deze in een volgend proces in ampullen.
“Ons doel was om de inspectie van ampullen op mogelijke vreemde deeltjes te automatiseren. Kwaliteitsborging van farmaceutische producten is uiterst belangrijk. Daarom was het essentieel dat de nieuwe oplossing dezelfde detectiepercentages haalde als het vorige proces, waarbij inspectie door menselijke operators plaatsvond, of deze idealiter zelfs overtrof”, legt Mickael Denis, Manager Operationnel Vision Industrielle, uit. Vincent Trombetta, Automatic Visual Inspection Expert bij Aspen, vervolgt: “Het was duidelijk dat een dergelijke taak alleen met behulp van deep learning-technologieën kon worden geautomatiseerd. Voor de implementatie, die veel expertise vereiste, hebben we een beroep gedaan op de adviesdiensten van MVTec Software GmbH. Aangezien de machine vision-oplossing op de inspectiemachine al was geïmplementeerd met MVTec HALCON, was het logisch om rechtstreeks gebruik te maken van de diensten van de fabrikant.”
Speciale uitdagingen in de farmaceutische industrie
Op de locatie Notre-Dame-de-Bondeville, waar de betreffende fabriek is gevestigd, worden de plastic ampullen eerst geproduceerd, in dit geval geblazen, vervolgens gevuld en ten slotte verzegeld. Aangezien al deze activiteiten in één machine worden uitgevoerd, is dit proces zeer hygiënisch. Vreemde voorwerpen kunnen nauwelijks in de ampullen terechtkomen. Niettemin vindt dit proces plaats onder cleanroomomstandigheden om het risico op besmetting verder te minimaliseren. Vanwege de activiteiten die hierbij komen kijken, wordt dit proces ook wel BFS genoemd. De afkorting staat voor “blow, fill and seal” (blazen, vullen en verzegelen).
Nadat de ampullen zijn gevuld en verzegeld, worden ze naar een inspectie- en verpakkingsruimte gebracht. Daar worden de ampullen en hun inhoud gecontroleerd op defecten. Voorheen moesten medewerkers elke ampul afzonderlijk oppakken en van alle kanten controleren om te zien of de ampul en het vulniveau in orde waren en of er geen vreemde voorwerpen in de vloeistof zaten. De grote uitdaging hierbij is dat de inhoud van de ampullen luchtbellen kan bevatten die zeer moeilijk te onderscheiden zijn van vreemde voorwerpen. De deeltjes die in de ampullen drijven, zijn niet altijd gemakkelijk te detecteren, zelfs niet voor inspecteurs. Ze kunnen zich aan de zijkant bevinden, naar de bodem zinken of onduidelijk zijn vanwege de viscositeit van de vloeistof. Het is dan ook begrijpelijk dat handmatige inspectie zeer tijdrovend en kostbaar is. Om deze reden moest het nieuwe proces worden geautomatiseerd. Mickael Denis legt uit: “Aangezien de inspectie visueel moet gebeuren, was het duidelijk dat we het proces alleen met machine vision en geen andere technologie konden implementeren. We moesten ons ook aanpassen aan de bijzonder veeleisende validatieprocessen die in de farmaceutische industrie gelden. Dit zorgt ervoor dat het nieuwe systeem de ampullen met de vereiste snelheid test, maar tegelijkertijd met de hoogste nauwkeurigheid en robuustheid.”
Inspectie van ampullen met 14 beelden
In het nieuwe systeem worden in totaal 12 camera’s gebruikt die voldoen aan de industriestandaard GigE Vision. Goede verlichting is ook belangrijk om de deeltjes duidelijk zichtbaar te maken. Machine Vision wordt uitgevoerd op een industriële pc. Aan de softwarekant is de machine vision-oplossing gebaseerd op MVTec HALCON, de standaardsoftware voor machine vision met meer dan 2.100 operators voor bijna alle beeldverwerkingstaken, inclusief deep learning. Vanwege de extreem moeilijke omstandigheden in de toepassing van Aspen had deep learning duidelijke voordelen ten opzichte van klassieke, op regels gebaseerde methoden. Met klassieke machine vision-methoden was het niet mogelijk om een set regels te vinden die robuust en flexibel genoeg was om de defecten te detecteren.
In de praktijk ziet het proces er nu als volgt uit: de testflesjes worden handmatig op de transportband van het systeem geplaatst en komen zo bij de inspectiemachine terecht. De 12 camera’s zijn zo geplaatst dat ze in totaal maximaal 14 beelden van elke ampul vanuit verschillende stations vastleggen. Het grote aantal beelden is nuttig voor inspectie op basis van deep learning, omdat er beelden zijn waarop de deeltjes niet zichtbaar zijn, maar wel te zien zijn vanuit een andere hoek. Er moet ook worden opgemerkt dat een deeltje alleen als zodanig wordt geïdentificeerd als het in een bepaald aantal beelden wordt aangetroffen. Hierdoor wordt het aantal valse positieven met succes verminderd. Nadat de beelden zijn vastgelegd, worden ze doorgestuurd naar MVTec HALCON. Daar worden verschillende machine vision-methoden gebruikt om de controles uit te voeren. Aspen gebruikt de op deep learning gebaseerde semantische segmentatie in HALCON om vreemde stoffen te detecteren. Naast het inspecteren van de vloeistof op deeltjes, worden ook andere inspectietaken parallel uitgevoerd met MVTec HALCON. Deze omvatten zogenaamde cosmetische defecten. Het systeem controleert of het vulniveau correct is, of de kleur geschikt is en of de sluiting voldoet aan de specificaties. Voor deze taken worden klassieke machine vision-methoden gebruikt, zoals matching en blob-analyse. Klassieke methoden hebben het voordeel dat ze zeer robuuste resultaten opleveren voor geschikte toepassingen en zeer korte verwerkingstijden mogelijk maken. Aan het einde van de inspectie wordt een duidelijke beslissing genomen of de betreffende ampul OK of NOK is.
MVTec biedt conceptueel advies en softwareondersteuning
“De taak was zeer complex – zeker een van de meest uitdagende die we ooit hebben gehad. Dit gold met name voor het voorbereiden van de beelden voor de training. Wij van MVTec werden ingeschakeld om te helpen bij de conceptuele voorbereiding, de implementatie van het proces en de documentatie”, legt Patrick Ratzinger, projectmanager bij MVTec, uit. Deep learning kan alleen robuuste beslissingen nemen als de beelden op de juiste manier zijn voorbereid. De ondersteuning van MVTec bestond uit het sorteren, nabewerken en opnieuw compileren van de eerder door Aspen gelabelde gegevens, waarna deze meerdere keren werden getraind. Dezelfde dataset werd meerdere keren getraind om de verschillende resultaten te kunnen vergelijken. MVTec creëerde zo een neuraal netwerk dat Aspen kan gebruiken om inspecties uit te voeren op zijn eigen apparatuur. Dit netwerk is getraind om de deeltjes van de achtergrond te segmenteren en ze zo betrouwbaar te detecteren. Voor de training werden testampullen gemanipuleerd om mogelijke defecten te simuleren die zouden kunnen optreden. Beelden van deze testampullen werden vastgelegd en gelabeld met behulp van de Deep Learning Tool. De Deep Learning Tool is een softwareproduct van MVTec waarmee beelden kunnen worden gelabeld voor deep learning-toepassingen. De gelabelde gegevens werden gecombineerd met goede beelden, dat wil zeggen ampullen zonder defecten, om een dataset te creëren die werd gebruikt voor het trainen van de deep learning-netwerken. De trainingen, die meerdere keren worden uitgevoerd, worden vervolgens geëvalueerd om te zien of ze effectief werken in de praktijk. “Door onze advies- en ondersteuningswerkzaamheden hebben we uitgebreide kennis opgebouwd over de gegevens en het gebruik ervan. Bijvoorbeeld hoe defecten het beste kunnen worden gelabeld, hoe de ideale samenstelling van datasets eruitziet en hoe de resultaten het beste kunnen worden geïnterpreteerd. Deze kennis hebben we als onderdeel van onze adviesdiensten doorgegeven aan Aspen”, legt Patrick Ratzinger uit.
Robuuste detectiepercentages: grotere nauwkeurigheid bij het detecteren van fouten, minder vals-negatieve resultaten
Beide productielijnen zijn nu in bedrijf. “Ons doel was om een toepassing te ontwikkelen die de huidige stand van de machine vision-technologie weerspiegelt. Het was duidelijk dat we deep learning wilden gebruiken, ook om onze interne kennis uit te breiden. Met de ondersteuning van onze collega’s bij MVTec zijn we erin geslaagd om de foutdetectiegraad aanzienlijk te verhogen en het aantal vals-negatieve resultaten te verminderen”, legt Vincent Trombetta uit. Het bedrijf is van plan om in de toekomst verdere automatisering op basis van machine vision te implementeren.