AWS re:Invent 2024: AI, AI, maar zeker niet alleen AI

In dit artikel neem ik je graag weer mee langs de belangrijkste highlights van AWS re:Invent in een persoonlijk verhaal en een aantal belangrijke nieuwsitems.

Wat is AWS re:Invent?

Amazon is rond 2006 gestart met het aanbieden van cloud services. Vanaf 2008 ook servers in de vorm van Elastic Cloud Compute (EC2). Voor technologiebedrijven was het gebruikelijk om jaarlijks evenementen te organiseren om klanten en partners te ontmoeten. Maar AWS wilde het graag anders doen. Het moest uitbundig zijn, groots, informeel, maar vooral ook technisch en inhoudelijk. Dus geen marketing/sales verhalen, maar écht delen van kennis en ervaring. Zo is AWS re:Invent ontstaan in 2011. In de keynote op dinsdag vertelde de CEO van AWS, Matt Garman, dat zelfs het verzinnen van de naam “re:Invent” niet makkelijk is geweest. Inmiddels komen er tussen de 50 en 100 duizend mensen naar re:Invent, dus is er voor iedereen is er wel iets te beleven. Van hardloopwedstrijden tot borrels en diners in de vele restaurants in en om de casino's. Van technische presentaties tot presentaties over innovatie en klantervaringen. En wat dacht je van de enorme expo hal met duizenden partners die maar al te graag willen dat je hun producten ziet. Ze brengen tassen vol cadeaus mee in ruil voor je e-mailadres die je na re:Invent nog weken zal moeten schoonpoetsen.

Mijn reis naar Las Vegas

Sinds een paar jaar is er een directe vlucht naar Las Vegas. Deze vlucht lijkt wel op een vlucht waar honderden oranjefans onderweg zijn naar een voetbalwedstrijd. Passagiers dragen geen oranje kleding, maar wel “swag” van vorige jaren, of branding van hun werkgever die ze trots laten zien. Swag is trouwens een term voor promotie artikelen die gratis uitgedeeld worden. Veel met AWS logo’s, vooral kleding, maar ook van de vele AWS partners die op de sponsor expo staan of restaurants en cafes afhuren om hun merk te promoten. Het voordeel van een directe vlucht is dat je met zo’n 10 uur vliegen in Las Vegas bent. Met een overstap is de reis al snel 2x zo lang. Er is wel 9 uur tijdverschil, dus het is even wennen. Elk jaar ga ik - als soort traditie - met Thijs de Vries samen eten in ons favoriete steakhouse. Dit jaar werden we omringd door een aantal oud collega’s van Xebia en voelde ik mij ook weer even een “Xebiaan”. Na een goede Amerikaanse steak & IPA, werden de oogleden om 9PM toch wel echt te zwaar. En de metgezellen zou ik toch weer tegenkomen op een borrel later die week. Jaarlijks georganiseerd door verschillende partners op dinsdagavond: de Benelux Drinks. Ook die was weer gezellig!

Voor het event echt losbarst

Op zondag scande ik even door wat nieuwsberichten. Voordat het event begonnen was, waren er al tientallen nieuwe aankondigingen gedaan. Ook in de weken voorafgaand aan re:Invent was dit al meer dan andere jaren. Dit wordt ook weleens “pre:Invent” genoemd. Een AWS Hero uit Nederland, Luc van Donkersgoed, heeft voor het gemak een website gemaakt waarin al het nieuws van AWS goed vindbaar is: aws-news.com. Een aanrader als je meer wilt weten wat er tijdens (p)re:Invent uitgebracht is en om de rest van het jaar up to date te blijven.

Ik moest zondagochtend even langs een “Speaker Ready Room” om mijn Powerpoint slides te laten checken. Ik mocht dit jaar voor de 4e keer presenteren op re:Invent, en samen met AWS checken we dan nog eenmaal of de slides helemaal perfect zijn. Deze staan namelijk op een centrale server, en niet op mijn eigen laptop. Daarna had ik even afgesproken met een paar mensen van Rabobank die graag in 2025 een meetup willen organiseren met AWSug.nl. Die gaat er dus komen ergens einde Q1 van 2025. In de avond ben ik met mijn collega’s van Schuberg Philis gaan eten in een Indisch restaurant. Een hapje van een “spicy 3 out of 5” gehaktbal werd mij bijna fataal, maar sommige van mijn collega’s gingen “all-in” op 5/5 gerechten. Het was een mooie avond die toch weer vroeg eindigde vanwege de lichte jet lag.

Maandag & Monday Night Live

Op maandag begint het event dan echt. Er zijn duizenden sessies te kiezen. Dit zijn presentaties, maar ook workshops en trainingen. Elke sessie krijgt een nummer; 100, 200, 300 of 400, wat betekent dat 100 instapniveau is en 400 expert. Ik ben naar een sessie gegaan over het bouwen van een “Cloud Landing Zone” die op level 400 zou zijn, maar dat was het helaas niet. Dus dat was jammer. Want door de grote afstanden tussen de sessies en hotels, kost een sessie bijwonen al gauw 3 uur. Je moet echt slim je agenda indelen, dus zo min mogelijk wisselen tussen hotels. Ook is het verstandig om sessies te bezoeken die niet op YouTube komen te staan, dit zijn de zogenaamde “chalk talks”.

Op maandagavond is de eerste keynote door Peter DeSantis. Deze keynote gaat vooral over de hardware innovaties die AWS doet. Denk aan bijvoorbeeld nieuwe chips in hun servers, of een kijkje achter de schermen in hun datacenters. Ik ben zelf die avond naar een besloten diner gegaan voor AWS Heroes. Er zijn 250 AWS Heroes verspreid over de hele wereld, waarvan er 3 in Nederland wonen. We zien elkaar eigenlijk alleen tijdens de zomer op een Heroes Summit, en tijdens re:Invent. Dit is daarom hét moment van de week waarin we kunnen bijpraten en van elkaar leren. Ook komt Werner Vogels, CTO van Amazon, altijd even langs om ons te ontmoeten, een klein toespraakje te houden en een award uit te delen. Vorig jaar werd deze award nog gewonnen door Nederlander Luc van Donkersgoed, dit jaar door Rossana Suarez.

AWS Heroes

Misschien vraag je je af wat een “AWS Hero” eigenlijk is? Want dat klinkt toch een beetje gek? Dragen ze bijvoorbeeld een cape? AWS heeft een groot belang bij een “vibrant and energetic community”. Communities zijn er omdat mensen het leuk vinden om kennis te delen en van elkaar te leren. We organiseren meetups, en grotere events zoals awscommunityday.nl, delen ervaringen op blogs en conferenties. AWS Heroes doen dit allemaal met veel passie en plezier en worden hier niet voor betaald door AWS. Als blijk van waardering daarvoor worden sommigen AWS Hero genoemd (met de nodige “perks”). Het AWS Heroes programma kost AWS wel veel geld, daarom kan helaas niet iedereen een Hero worden. Daar heeft AWS de AWS Ambassadors en AWS Community Builders voor bedacht. Dit zijn er bij elkaar opgeteld een paar duizend engineers wereldwijd. Zij leveren vergelijkbare waarde voor de communities en dus AWS maar het kost AWS iets minder geld op deze manier.

Dinsdag, Keynote Matt Garman

Matt is een paar weken geleden CEO geworden van AWS, dus dit is zijn eerste AWS re:Invent keynote. Na een flitsende openingsvideo, begon Matt met een bedankje aan de AWS Heroes en een highlight van de user groups / communities wereldwijd. In voorgaande jaren gingen de eerste 15 minuten van de keynote over de groei van cloud technologie en de impact van AWS. Dit jaar dook Matt direct in de techniek met een verhaal over AWS’ eigen chips (Nitro). Zo werd onder andere de EC2 Trainium2 Ultra Server aangekondigd. Waar AWS jarenlang inzette op relatief kleine instances, is dit een “megaserver”. Kleine instances hebben voordelen bij het op- en terugschalen van capaciteit, en beschikbaarheid bij storingen in een van de datacenters. Maar sommige AI-toepassingen hebben zo'n megaserver nodig, en dit is er een die tot 83 FP8 petaflops kan leveren (dat is vast heel, heel veel). Stiekem heeft AWS gewoon 4 servers aan elkaar geknoopt waardoor het er 1 lijkt. Dus ga er maar van uit dat er de komende jaren nog een paar ‘beyond ultra megaservers’ bij zullen komen.

Tijd voor een nieuwe service die interessant is voor een grotere groep gebruikers: S3 Table Buckets! S3, Simple Storage Service, wordt veel gebruikt voor storage van allerlei soorten toepassingen. Meest bekend zijn backup en archiving, maar ook zeker voor het bouwen van data lakes. Een data lake is een oplossing waarbij data centraal verzameld wordt om analyses te doen of Machine Learning modellen op te trainen. Een veel gebruikte software oplossing is Apache Iceberg. Matt vertelt in zijn keynote dat het lastig is om zelf Apache Iceberg neer te zetten, en zoals bij veel services neemt AWS die “undifferentiated heavy-lifting” graag voor hun rekening. Althans, je betaalt uiteraard wel voor het gebruik van de service, maar de prijzen lijken zo op het eerste oog niet zo heel hoog. Dit is wat mij betreft een no-brainer om te gebruiken, want het is ook nog eens “generally available today”.

AWS heeft diverse soorten storage oplossingen die gebruikers kunnen toepassen, maar nog veel meer soorten databases. In de tijd waarin ik studeerde, begin deze eeuw, was er maar een soort database die iedereen gebruikte en dat was de “relational database” met SQL (Structured Query Language). Later kwamen de NoSQL databases in opkomst, zoals DynamoDB van AWS. NoSQL databases waren beter schaalbaar en leverde een goede en voorspelbare performance, maar “strong consistency” was een uitdaging. Want wat gebeurt er als een database-record tegelijk gewijzigd wordt op 2 plekken op duizenden kilometers afstand? Wie zou er dan winnen en wat doet dit met de performance? AWS heeft dit opgelost met een gesynchroniseerde atoomklok in alle datacenters. Deze zorgt ervoor dat data niet tientallen keren heen en terug hoeft tussen alle systemen, maar dat dit allemaal gebeurt in 1 transactie met 1 specifieke tijd. Zo weet je altijd wie er wint en blijft het ook super snel. Deze Amazon Time Sync Service is overigens al in 2023 gelanceerd.

Vandaag kondigde Matt AWS Aurora DSQL aan, een database gebaseerd op PostgreSQL die gebruikmaakt van deze Time Sync oplossing om een “Multi-Region Active-Active Strong Consistent SQL Database” aan te bieden. Deze is nog wel ‘in preview’, dus we moeten nog even wachten voor we deze database in productie kunnen gebruiken. Overigens is deze Time Sync service nu ook gebruikt voor DynamoDB. DynamoDB was met Global Tables al een multi-region service, maar levert nu ook “strong consistency”. Kortom, of je nu SQL of NoSQL wilt gebruiken, in AWS zit je wel goed. AWS vergelijkt zich niet vaak met andere cloud providers, maar vertelde in deze keynote wel dat Aurora DSQL sneller is dan Google Spanner.

Andy Jassy

En daar was Andy Jassy dan eindelijk weer. Andy was de CEO van AWS tussen 2016 en 2021, en volgde Jeff Bezos op als CEO van Amazon. Ik vond zijn manier van presenteren altijd geweldig om naar te luisteren en keek dus enorm uit naar deze sessie. Andy mocht de aankondiging doen van Amazon Nova. Dit wordt gezien als de opvolger van Titan, want zelfs de product page van Titan wijst door naar Nova. Nova is een zogenaamd “foundation model” door AWS gemaakt en getraind. Eenvoudig gezegd is Nova dus een AI die je vragen kan stellen zoals: “vertaal deze tekst” of “maak een samenvatting van deze video” of “genereer een foto met daarin Andy Jassy on stage”. Nova is, volgens de AWS blog post, “het beste foundation model van de industrie met de laagste prijs-performance, exclusief beschikbaar op Amazon Bedrock”. Komende dagen ga ik er zeker even mee stoeien.

Mijn presentatie, en de afbouw van een grand prix

Ik moest midden in Andy zijn verhaal vertrekken naar een ander hotel, MGM Grand, om daar om 11:30 mijn eigen presentatie te geven. Las Vegas was een week geleden nog letterlijk toneel voor Max Verstappen. Hij won niet alleen de Formule 1 Grand Prix van Las Vegas, maar pakte daar ook zijn vierde wereldtitel. Ondanks het harde werken waren er nog veel wegen afgesloten en het circuit duidelijk zichtbaar. Sterker nog, toen ik de taxi van het vliegveld nam op zaterdag zei de taxichauffeur: “ik neem wat sluiproutes dwars door de parkeergarages van de casino’s, ik breng je écht veilig en snel naar je hotel…”. En dat deed hij, gelukkig. Vast een truc voor een extra fooi, maar ik vond het ook wel grappig. De vertragingen de rest van de week waren minder grappig. Mijn bus reed dit keer gelukkig snel door en ik was ruim op tijd voor mijn sessie. Net zoals de lange rij van mensen die graag bij mijn sessie aanwezig wilden zijn. Alle stoelen waren bezet en tientallen mensen moesten de sessie later online bekijken. Het was duidelijk dat ik veel te veel beloofd had. In 45-60 minuten de juiste informatie delen, de juiste richting kiezen, een paar goede take aways meegeven, was een enorme uitdaging. Maar ik was blij dat mijn talk heel goed paste bij Werner’s keynote die hij 2 dagen later zou geven. Hierover later meer.

Woensdag

Op woensdag zijn er altijd twee keynotes. Eerst de keynote van Dr. Swami Sivasubramanian, de VP of AI and Data, dus je raadt het al… nóg veel meer AI en Data updates. Daarna de Partner Keynote met Dr. Ruba Borno, waarin de strategische partnerships met AWS centraal staan. Ik ben zelf niet bij deze keynotes geweest, en ik moet ze nog terugkijken ergens in de komende dagen. De keynote van Swami gaat vooral over de verbeteringen in services zoals Amazon SageMaker, Amazon Bedrock, en Amazon Q. De belangrijkste takeaways uit de Partner Keynote werden eerder beschreven in een blog post van AWS en gepubliceerd op Dutch IT Channel.

Donderdag, Werner’s Keynote

Dr. Werner Vogels is CTO van Amazon, maar is een Nederlander en woont momenteel weer een groot deel van zijn tijd in Amsterdam. AWS vraagt medewerkers 5 dagen per week naar kantoor te gaan, ik ben heel benieuwd of Werner nu ook dagelijks naar de Mr. Treublaan fietst. Zijn keynote, die in 2020 nog begon met Werner fietsend door zijn favoriete stad, is vooral gericht op developers. Of zoals hij ze noemt: “builders”. Soms bestaat de keynote uit het aankondigen van enkele nieuwe services en features, maar dit jaar waren het er welgeteld “0”. Waar ging het dan wel over? Het antwoord is: “Simplexity”.

Werner begon zijn presentatie met een reflectie op de eerste AWS re:Invent in 2011. Waarin hij sprak over “the next generations of development”. Dat werd onderverdeeld in de onderwerpen Controllable, Resilient, Data-driven, Adaptive. Dit leidde naar de kern van zijn verhaal: “keeping things simple while adding complexity requires discipline”. In Werner’s keynote van 2024, deelt hij een aantal lessons learned van AWS. Als je onderstaande bullets wel interessant vindt, raad ik je zeker aan om de hele keynote te kijken. Als het je niet interessant lijkt, kijk het dan ook, dan is mijn samenvatting gewoon mislukt. Zelden heb ik zo’n goede masterclass van 2 uur gratis mogen bijwonen.

1. Make evolvability a requirement. IT/software architectuur verandert elke zoveel maanden en dat is goed. Werner vertelt ook dat het onmogelijk is om services zoals S3 uit te breiden met nieuwe functionaliteiten als de architectuur niet continu veranderde. S3 Table Storage, eerder in dit artikel genoemd, zou nooit kunnen werken met de originele architectuur van S3.
2. Break complexity into pieces. Werner geeft hier het voorbeeld van CloudWatch, AWS’s monitoring & logging service. Deze service moet zoveel data verwerken, 665 trillion metrics per dag, 440 PB logs ingested, dat zou nooit meer gepast hebben in de originele “megaservice” zoals Werner het noemde. Door dit in kleinere building blocks te splitsen wist AWS de problemen voor te zijn.
3. Align organization to architecture. Deze learning werd gepresenteerd door Andrew Warfield, VP and Distinguished Engineer at AWS. Hij vertelde dat binnen AWS het gebruikelijk is teams een probleem te geven en ze zelf een oplossing te laten bedenken. En ze dus niet te dwingen om ze iets te laten doen. Op deze manier voelen ze zich eigenaar van de oplossing en komt het beste in ze naar boven. Ik ben overigens wel benieuwd wat de gedwongen 5-dagen per week op kantoor werken gaat doen mbt deze lesson learned. Ik vermoed eigenlijk dat dit gaat leiden tot een nieuwe lesson learned in de komende jaren.
4. Organize into cells. Waar het in learning 2 en 3 met name ging over het “ontwikkelen” van services, gaat learning 4 meer over de “run” fase. Het gaat om het vinden van de “sweet spot” tussen een cell die de grootste workload kan ondersteunen, maar klein genoeg om binnen korte tijd te testen als het op grote schaal zou draaien in productie. Dit is enerzijds het weer samenvoegen van building blocks die samenhangen, maar anderzijds het behouden van groepen van building blocks (cells) die vervangbaar zijn en dubbel uitgevoerd (availability zones).
5. Design predictable systems. Eerst geeft Werner een voorbeeld van het “push” mechanisme in een architectuur. Met elke wijziging in een systeem moeten soms wel miljoenen services een update ontvangen. En dat terwijl deze miljoenen services ook nog eens duizenden requests per seconde aan het verwerken zijn. Door er simpelweg een “pull” mechanisme van te maken, zal elk van die miljoenen systemen op een voor hen gunstig moment de nieuwe configuratie ophalen en gaan gebruiken. Een “simpele” oplossing voor een “complexe” uitdaging.
6. Automate complexity. Om deze lessons toe te lichten gebruikt Werner het voorbeeld van Threat Intelligence. Elke aanval is uniek, en het is daarom onmogelijk om een aanval te voorspellen en voorkomen. Er is ook geen tijd om het volledig te doorgronden en een beslissing te nemen. Door dit te automatiseren en gebruik te maken van een “neural network”, kunnen we deze geautomatiseerd afwenden. Een “neural network” is trouwens gewoon Artificial Intelligence, maar volgens mij probeert Werner dat woord te vermijden omdat we al genoeg AI gehoord hebben.

Na een korte samenvatting van deze zes lessons learned roept Werner op tot “share your lessons”. Ook nu weer werden de AWS Heroes in het zonnetje gezet. Ook al ontvangen wij deze credits, wij interpreteren dit ook als facilitators. We helpen ook anderen met het delen van kennis en ervaring. Zo organiseer ik samen met AWS Partners en sprekers uit de community diverse AWS re:Invent re:Caps begin 2025. Hou awsug.nl in de gaten en volg ons op LinkedIn voor nieuws hierover.

Tot slot gaf Werner nog een deep dive in de werking van Aurora DSQL. Een fundamenteel onderdeel hiervan is Time Sync. AWS heeft het altijd over de “fundamental building blocks” van AWS in de vorm van network, compute, storage, database, security. Hier wordt nu “time” aan toegevoegd. Werner roept op om te kijken naar je eigen workloads en te zien of: “synchronized time can actually help you to significantly reduce the complexity of your systems”.

Werner publiceert dit en meer ook altijd vlak voor hij on stage gaat in zijn persoonlijke blog, ook dat is een aanrader om te lezen. Onderaan die blog post staan ook links naar voorgaande jaren.

re:Play

Terwijl de meeste mensen na de keynote nog wat sessies bijwonen om zich vervolgens naar de Las Vegas festival grounds te verplaatsen, sta ik mijn koffer alweer in te pakken. Ik wilde heel graag een directe vlucht naar Amsterdam en die gaat alleen op donderdag en zaterdag. Ik wilde voor het weekend thuis zijn dus ik moest AWS re:Play laten schieten. Mijn terugvlucht was ideaal en terwijl mensen brak wakker werden van het re:Play feest, zat ik al thuis op de bank met mijn kids die blij hun sinterklaascadeaus lieten zien. Terwijl ik nog steeds zat te denken aan al die sinterklaascadeaus van re:Invent die ik zelf had gekregen. Wat was het weer een mooi event, maar wat is het ook weer fijn om thuis te zijn.

Door: Martijn van Dongen (foto), Cloud Evangelist at Schuberg Philis, AWS Hero, AWSug.nl Community Leader (all views are my own)