infraestructura | Denken Über

Cloudflare y los limites del discurso en Internet

“Recién bloqueamos a KiwiFarms” publico el CEO de Cloudf l are en un mensaje que pareció una claudicación al pedido de usuarios de internet pidiendo que le cancelen el servicio de protección a Kiwifarms, un foro que ataca a personas trans; pero esto abre mas interrogantes que respuestas porque nada es lineal en Internet.

Cloudflare es una plataforma de protección anti DDoS, básicamente evita que un sitio sea “apagado” por un ataque donde se simula que millones de usuarios están queriendo accederlo para que los usuarios reales no puedan verlo, y hoy protegen al 20% de internet… y aunque la respuesta les parezca fácil como twittear “Discriminatorio!!!” les pido que piensen estos preguntas antes de responder:

Continuar leyendo

Dropbox y la coopetencia con Amazon Web Services

Dropbox Amazon magic-pocket
Ayer Dropbox anunció que luego de dos años de trabajo abandonaba en un 90% la infraestructura de Amazon Web Services y pasaba a tener su propia infraestructura, y hubo dos temas que me parecen geniales sobre la noticia, el choque de filosofías de infraaestructura y la necesidad de coopetir en espacios complejos.

Si uno mira el anuncio oficial de la empresa, se ve claramente que Dropbox y Amazon van a seguir teniendo una relación de almacenamiento de datos compartida, especialmente en Europa porque las leyes de privacidad de la UE pueden ser cumplidas por Amazon y su red de datacenters físicamente establecidos en lugares como Alemania y que para Dropbox no tienen sentido económico… y eso es relevante para analizar la coopetencia.

El otro punto que me sorprende es, por un lado hay VCs diciendo que “no veo como esto puede beneficiar a los clientes” mientras que, como claramente apunta @gruber este movimiento está alineado con la filosofía de Tim Cook: “We believe that we need to own and control the primary technologies behind the products that we make.” con la que concuerdo un poco más.

Ser independiente de plataformas de terceros te da libertad de acción y control sobre decisiones que no tendrías si dependés de otros, pero es interesante que se cumple el “mantra” de usar plataformas de terceros para acelerar tu crecimiento y luego ver como esquivas la dependencia de esa plataforma.

Nokia quiere vender HERE. De infraestructura y monopolios

Nokia-Networks

Hace días está dando vueltas la noticia de Nokia en conversaciones para vender su unidad de mapas HERE y enfocarse en su negocio de infraestructura. No me sorprende ni un poco la movida, ser un proveedor de mapas e información de aplicaciones no tiene nada que ver con el core de negocio al que quiere dedicarse desde que Stephen Elop los sacó del mercado móvil de consumidores. Continuar leyendo “Nokia quiere vender HERE. De infraestructura y monopolios”

Stuxnet y los actos hostiles en tiempos de paz

Sigo sosteniendo que Stuxnet es una de las peores cosas que le pasó a Internet desde su creación, que existen herramientas de ciberguerra lo sabemos, que existen ataques ocultos lo sabemos, que existen hacks remotos lo sabemos, pero que se libere un virus en Internet y que se reconozca que fué creado por dos gobiernos para desactivar planes de un tercero es, en palabras de la Presidencia de USA, un acto hostil y como tal es imposible saber si la temporada de caza la abrió Bush y su administración de impresentables al “perder control” de Stuxnet.

Continuar leyendo “Stuxnet y los actos hostiles en tiempos de paz”

Estadísticas de YouPorn

Buena nota de ExtremeTech: Just how big are porn sites? para entender como funcionan los sitios porno de alto tráfico y digo que la nota es buena porque pocas veces uno tiene acceso a las estadísticas de estos sitios; y mucho menos a entender que esa industria podría tranquilamente participar y enseñar mucho en el mundo de los eventos de infraestructura…. dejarlos de lado es ridículo cuando manejan estos números:

Contenido: más de 100Tb de porno
Pageviews: más de 100 millones diarios
Transferencia diaria: 950Tb promedio
Pico de pageviews: 4000 por segundo
Pico de transferencia: 100 Gb por segundo
Pico de queries: 300.000 por segundo
Servers: NGINX + PHP + REDIS + HAProxy y Varnish

Dos detalle, OpenSource rules pero nadie deja ver el hardware que usan… tal vez porque son de los pocos sitios del mundo que empujan video constantemente y eso hace que ahí haya mucha optimización; y por otro lado YouPorn ni siquiera es el sitio más grande de la industria sino XVideos con un estimado de 4.400 millones de pageviews al mes ;)

Facebook abre sus datacenters

Si hay un mercado que está innovando en formas aceleradas para poder proveer todos estos servicios dospuntocero que estamos hoy usando y disfrutando es el el de la infraestructura, la piedra fundamental sobre la que descansa cada foto que subís a Flickr, cada video que subís a YouTube y cada Tweet que enviás… necesita ser guardado, replicado, respaldado, puesto en datacenters alrededor del mundo de forma que estén online sin demoras, con seguridad y con velocidad que es el mantra de nuestra instantaneidad.

Por eso es que los diseños de Amazon Web Services o de los datacenters de todos los grandes parecen secretos industriales, hey si cuando estuve en Google sacarme una foto con uno de sus racks hace que casi me griten (igual la tengo en mi Perfil de BBM :P) por eso la iniciativa Open Compute de Facebook merece ser apoyada por la industria

Continuar leyendo “Facebook abre sus datacenters”

Jeffrey Dean: escalabilidad y pequeños sistemas

Si te interesa la escalabilidad de servicios web les recomiendo ver esta charla de Jeff Dean en Stanford sobre escalabilidad de sistemas comparando Google desde 1999 hasta 2010 y los números gigantescos que se manejan en escalabilidad en este nivel. Más allá de eso, podés completarlo con The Seven Secrets of Successful Data Scientists y algunos datos de Krishna Sankar sobre esa charla

Australia: Adiós al cobre, hola fibra óptica

Estoy sinceramente impresionado, Australia dice oficialmente adiós a los cables de cobre y se embarca en un proyecto de u$s10.000 millones y arma una red de fibra óptica nacional que empareja la tecnología para todos los ISPs, acerca lo más avanzado a todos los habitantes y, en definitiva, va a impulsar el ecosistema de infraestructura en el país. Sana envidia :) + ArsTechnica

Google cambia su infraestructura de indexacion

Finalmente luego de casi 10 meses de pruebas semicerradas, Google Caffeine está online y los resultados ya son una muestra de su nuevo esquema de búsquedas.

google caffeine infraestructura del buscador

¿Que es Google Caffeine y que NO es?
Para entenderlo de manera simple, esta nueva infraestructura indexa la web de forma mucho más rápida, le presta atención a todo lo relacionado al “real-time-web” y a diferentes tipos de contenido y los muestra en los resultados mucho más rápido, o sea… el principal cambio es: la velocidad en indexación y muestra de resultados de la web.

Y si en un primer momento hubo bastantes dudas sobre ¿como mejorar nuestros sitios para posicionar mejor con este update? la realidad es que esto es un cambio de infraestructura (y estamos hablando de tal vez la más grande de Internet, no se olviden que “documento” es cualquier pieza de informacion) gigantesco y la evolución del posicionamiento va a estar dada por otro tipo de cosas más que por las tradicionales…. creo que SMX Advanced de este año era un buen evento que se me escapó ;)

Continuar leyendo “Google cambia su infraestructura de indexacion”

570 bases WIFI en el WWDC 2010

El famoso blooper de Steve Jobs sin poder hacer una demo porque la red wifi del iPhone 4 no andaba se dio por algo interesante que es la aparición de cosas como el MiFi o el HTC EVO que con Android se convierte en un hotspot WiFi; básicamente el WWDC se convirtió en una central de redes WIFI compartidas con 570 diferentes SSIDs detectados por la gente de Apple.

Continuar leyendo “570 bases WIFI en el WWDC 2010”

Google DNS: más confiabilidad y velocidad para nosotros, más datos para ellos

Google acaba de anunciar su DNS público, con una dirección IP muy fácil de recordar: 8.8.8.8 ¿Qué significa esto para los usuarios de internet del mundo? En principio tres cosas: más confiabilidad para navegar la web, más velocidad para acceder a una página y una nueva fuente de información para Google acerca de nuestros hábitos de navegación.

After-Eight

Continuar leyendo “Google DNS: más confiabilidad y velocidad para nosotros, más datos para ellos”

De Fibertel, Speedy y periodismo

Esteban y la falta de notas periodísticas sobre la infraestructura de Internet en Argentina porque vamos, si todos vivimos quejándonos de Fibertel, Speedy y Arnet ¿no es raro que no haya una sola crítica en los medios?:

¿Para cuando una nota seria y con estadísticas fidedignas de como la calidad de la conectividad afecta el crecimiento de un país donde empresas intentan crear polos de desarrollo/soporte? Porque lo afecta. Y mucho. Y nadie habla de ello…. Pero claro, es mucho mas divertido hablar en el noticiero acerca del video de Susan Boyle o de cómo ahora los “chicos mandan SMSs en lugar de cartas “…. “(Clarín es dueña de Fibertel + Flash + Parte de Telecentro; TeLeFe Telefónica es dueña de Speedy, proveedora de un acceso a Internet al menos tan malo como el de Fiber)”

Y lo más loco es que no hay ni uno solo que pueda responderle.

¿Quien tiene más servidores?

¿Quien tiene más servers? es una excelente lista con datos públicos y privados acerca de la infraestructura de Internet de algunas empresas ¿el líder con datos oficiales? 1 and 1 con 55.000 servers ¿el líder no-oficial y basados en suposiciones? Obvio: Google que se calcula tiene más de 450.000 servers distribuidos por el mundo

Datos de los datacenters de Google

Si quieren tener una idea del tamaño de la infraestructura de Google les recomiendo leer esta reseña de la charla de Jeff Dean en Google I/O.

No es tan impresionante a nivel números, pero si a nivel lógica de mantenimiento y uso (por ejemplo el racional atrás del uso de hardware commoditizado en vez de servidores de misión crítica o la tabla de “roturas esperables” entre otras cosas) aunque la especulación de 200.000 servers distribuídos alrededor del mundo, asusta ;)

También es interesante ver porque, para Google, los servidores multicore son “pan comido” mientras para otras empresas la escalabilidad con esos procesadores les representa un problema “para nosotros los multicore, son como muchas maquinitas que se interconectan muy bien” y como eso impactó en el tiempo promedio usado para actualizar su index pese a que este (junto al numero de sitios en Internet) iba creciendo sin parar.

Google App Engine: que la nube se encargue

Finalmente Google lanzó sus webservices: Google App Engine con dos grandes incentivos, su slogan: “Corre tus aplicaciones web en la infraestructura de Google” y su precio: Gratis con límite.

¿Con quien compite? Con Amazon Web Services aunque no sea tan completo como esa oferta, Amazon incluye hasta un servicio de logística y uno de pagos manejado via web… pero, para una parte de esos servicios web, esto es competencia directa y, hasta cierto límite, gratis.

Por ahora los límites gratuitos son de 500MB de almacenamiento, 200 ciclos de CPU y 10GB de tráfico todo por día… con lo que Google espera que se puedan servir unas 5MM de pageviews mensuales… si querés más, deberás pagar pero con la confiabilidad de la infraestructura de Google.

Actualización: Daniel deja un link muy interesante donde se analiza esto como un ataque a Facebook F8 en vez de contra amazon..y es MUY buena teoria.

Amazon Fulfillment Web Service: y ya tenemos todo

Amazon acaba de anunciar la unión de sus servicios de logística con un web service creando Amazon Fulfillment Web Service (Amazon FWS) ¿que implica esto? Que mediante un servicio web Amazon puede encargarse completamente de todo tu inventario y logística de envíos.

Le sumamos esto al servicio de pagos Amazon Flexible Payments Service (AFPS) y a los servicios web que arman una nube completa para los desarrolladores (EC2, S3) y el servicio Simple DB y tenés toda la infraestructura necesaria para hacer una empresa de e-commerce totalmente tercerizada, distribuida y con pagos elásticos.

Y si antes tenías la posibilidad de tener una infraestructura world-class ¿quien tiene la capacidad de tener un servicio de logística como el de Amazon? Y el emprendedor o la nueva empresa tendría que ocuparse del modelo de negocio y conseguir clientes… el resto lo podes tercerizar completamente.

Lo ví en Error 500, el blog de Amazon AWS tiene más datos

P4P mejor uso de la red para transferir archivos

El P4P es una tecnología que se está estudiando hace tiempo y que es, básicamente, elegir selectivamente de que pares se descarga información en una red P2P. ¿Que hace esto? analiza el flujo de paquetes y determina quien está mas cerca de quien para que las veloicidades de P2P se disparen.

P4P un P2P optimizado

La lógica es simple y, más de una vez tuvimos la suerte de aprovecharla aleatoriamente, ¿cuando? Cuando descargás un capítulo de lost de 10 pares y bajás a 500kbps es porque alguien está en tu misma “red” ;)

Continuar leyendo “P4P mejor uso de la red para transferir archivos”