High Velocity Migration

High Velocity Migration from Joshua Hoffman on Vimeo.

Eén van de presentaties die me het meeste is bijgebleven tijdens Velocity, is die van Joshua Hoffman, engineer bij Sound Cloud. Hij had het over de migratie van 1200 servers op een tijdspanne van 6u bij zijn toenmalige fictieve bedrijf “Hipster” (lees: Tumblr). Het plan van aanpak, de issues die hij en zijn team daarbij overwonnen, de learnings, … zijn allen meer dan de moeite waard om te bekijken.

Enkele weggevers?

  • Premature optimization is the root of all evel
  • Ingredients for (insane) growth:
    • Pay off technical debts
    • You need heroes
    • Find and kill zombies
    • Embrace imperfection
    • Take shortcuts
    • Beware of green fields
    • Be a constant gardener

Enjoy!

An English breakfast!

Stevig ontbijt

A post shared by Thomas Lepouttre (@tlepouttre) on

Wat eet je als ontbijt wanneer je in hartje Londen zit? Een Engels ontbijt, tiens!

  • 2 stukken knapperig spek;
  • 2 gebakken eieren;
  • 1 gebakken tomaat;
  • een stevige worst;
  • warme bonen in tomatensaus;

Een normaal mens verklaart me zot, maar eerlijk: dit was absoluut niet slecht! Integendeel. Lekker en stevig. Volgens mij zelfs goed voor mensen op dieet: de rest van de dag heb ik nauwelijks nog gegeten …

Velocity Conference @London (13/11/2013 – 15/11/2013)

velocity

Midden november trok ik richting London, voor een conferentie omtrent “Web Performance and Operations”: Velocity.

Velocity wordt georganiseerd door O’Reilly, uitgever van technologische vakliteratuur. Ook al is de rode draad doorheen de 3 dagen geektalk technisch getint, gaat het toch vooral over de “geeks”. Met geeks bedoel ik de “people operating technology”.
Gelijk welke libraries of applicatie je wil gaan gebruiken, je hebt mensen nodig die alles gaan toepassen en moeten zorgen dat alles ook goed loopt. No machine is going to do that, zomaar “automagically”.

De komende dagen schrijf ik verder uit wat ik daar zoal opgestoken heb, wat me bijgebleven is, en wat de moeite is om te delen.
Verwacht alvast meer informatie over Paul Downey (Her Majesty’s Government Digital Service), Addy Osmani (Google), Ilya Grigorik (Google), Joshua Hoffman (SoundCloud) en Tom Malsen (BBC News).

Een quote om af te sluiten?

“Does it work? If yes, then shut the f*ck up and move on.” (Derek’s Commandment)

Damn data (17 oktober 2013)

damndata

Midden oktober schoof ik aan voor het tech event rond “Big Data”, georganiseerd door de jongens van Combell en IdeaLabs: Damn Data!

Waarom “Damn Data”?
“We’d like to remind our audience that not everything is a damn SQL statement”

Voor een eerste editie is dit meer dan geslaagd: goeie organisatie, leuke ruimte en smakelijk eten en bijhorende drank. Nadien Vedett à volonté!
Ook inhoudelijk hebben ze wel wat potten gebroken: in plaats van de typische set te programmeren rond de hype van “big data”, hebben ze’t meer technische en pragmatisch aangepakt. Er was een goeie mix tussen lokale helden (Steven Noels – NGData; Wim Van Leuven – Bigdata.be; …), en de grotere gevestigde waarden (Ross Lawley – MongoDB; Chaitanya Mishra – Facebook; …)

Wat heb ik genoteerd?

  • Je big data architectuur is sterk afhankelijk van de applicatie die aan het bouwen bent, idem voor de technologische keuzes;
  • My Hadoop is bigger than yours” blijkt een populair t-shirt te zijn;
  • Facebook gebruikt een eigen systeem voor real time adhoc analyses (Presto), en heeft dat ook gedeeld naar de rest van de wereld;
  • Facebook doet per pageview ongeveer 3 queries naar de database. De overige 1200 items komen integraal uit de cache. Per pageview verschepen ze 200kB aan data, en dat een paar miljard keer per dag;
  • Facebook gelooft in “developing objects that do one thing only, but do it really really well”;
  • Storm is “the new kid on the block”, dat aan distributed realtime computation doet. Concreet: processing benchmarks van 1 miljoen records per seconde, per node zijn vrij indrukwekkend;
  • Bij de start van een nieuw “big data” project is het belangrijk om “skinny” te beginnen, in plaats van onmiddelijk de “big guns” binnen te halen. Die komen ongetwijfeld later nog aan bod …;