Noticias de escalabilidad

Estuve casi todo el día mirando la presentación de Raffi Krikorian, VP de Ingeniería de Twitter, sobre la infraestructura de los Timelines de Twitter y su escala para no caer como era costumbre de ellos. Para tener una idea de la escala de datos que estamos hablando: cuando Lady Gaga manda un tweet, en menos de 1 minuto tiene que estar en el timeline de sus 31 millones de seguidores y si no aparece, van a existir quejas y llantos... pero al mismo tiempo esa infraestructura es la que mantuvo a mucha gente cubriendo constantemente las marchas en Egipto y el fallido aterrizaje de Asana en San Francisco.

Algunos números que me llamaron la atención: con más de 150 millones de usuarios activos, hay unos 300.000 QPS (con apenas la 20ma parte siendo para publicar, consumo vs creación), esto se convierte en unos 400 millones de tweets al día que es el famoso "firehose"...

Leer completa

Excelente video que te permite entender ciertas complejidades técnicas de Twitter y su relación en la creación, envío y distribución de datos. Lo hizo @raffi y lo publicó @martinvars.

En 0:50 muestra la asincronía de la distribución y, tal vez, sería genial que hagan un disclosure de que Brasil es ya su segundo mercado y que México es el séptimo algo que no dicen no entiendo porque ayudaría a entender su crecimiento global o quizas entender mejor algunas cosas como que cuando hablan de costos por engagement están hablando de una fórmula:

el Engagement Rate = (Clicks + Favoritos + ReTweets + @Replies) / Impresiones

Que sería genial entender si es auténtica o digitada como la famosa SUL :)

Excelente presentacion, transcripción y resúmen de la charla de Steve Huffman, cofundador de Reddit, el sitio de noticias sociales, sobre como diseñar una arquitectura para escalar. Charla técnica pero recomendable.