En hållbar och effektiv data pipeline för över 200 000 produkter

Foodfacts hjälper dig göra medvetna val gällande mat med hjälp av intelligent data. När man hanterar en så stor mängd data som FoodFacts gör behöver man först och främst se till att man har en effektiv och hållbar datastrategi på plats. För att göra detta rätt från grunden tog Foodfacts hjälp av Altostruct.

Om Foodfacts

FoodFacts är ett företag som, med hjälp av AI och algoritmer, använder intelligent matdata för att hjälpa företag och industrier mot ett hälsosammare och mer hållbart matsystem. De identifierade en avgörande svårighet: att få tillgång till omfattande och korrekt matdata. Därför skapade FoodFacts en plattform som tillhandahöll tillgänglig, handlingsbar och förståelig matinformation. Altostruct hjälpte FoodFacts att skapa en robust och skalbar lösning genom att bygga en pålitlig och skalbar data pipeline.

Problembeskrivning

Foodfacts insåg det kritiska behovet av att effektivt uppdatera och underhålla stora mängder produktdata från externa API, nämligen 200 000+ produkter. Att säkerställa datans noggrannhet och minska latens var av största vikt för att leverera värdefull information till deras användare. Men att hantera processerna för datahämtning, strukturering, bearbetning och uppdatering utgjorde en betydande utmaning. En effektiv datapipeline behövds för att minska risken för fel och öka noggrannheten vid datahämtning.

Lösningsbeskrivning

Altostruct tog fram en lösning för att optimera datastrategin. Denna strategi kretsade kring två nyckeltjänster hos AWS som tillåter effektiv hämtning, bearbetning och uppdatering av Foodfacts produktdata:

AWS Lambda
Simple Queue Service (SQS)

Varje steg i datapipelines hämtning utformades som separata Lambda-funktioner, med SQS-köer som mellanhänder mellan dem. Denna arkitektur var avsiktligt designad för att vara löst kopplad, vilket innebär att ett fel i en del av pipelinen endast skulle påverka den specifika komponenten, medan resten av systemet förblir opåverkat. Vid ett fel dirigerades de problematiska posterna till en Dead Letter Queue (DLQ), där de senare kunde bearbetas och analyseras. Detta tillvägagångssätt säkerställde att Foodfacts konsekvent kunde förse sina användare med den mest aktuella och exakta matdatan tillgänglig.