Le labo de R&D du New York Times a eu l'excellente idée de mettre en ligne Streamtools, un outil open source (licence Apache 2) destiné à traiter des flux de données en temps réel.

En gros, à partir de sources de données externes, il est possible de traiter l'information et de produire sans développer quoi que ce soit, des flux temps réel.

Et celà peut avoir des tas d'applications concrètes... Ca va dans leurs exemples de l'affichage dans l'open space, du nombre de Vélibs dispo dans une station bien précise à du suivi temps réel de tremblements de terre (et génération automatique d'article), sans oublier des infos sur les objets retrouvés dans le métro New Yorkais.

On y retrouve un principe similaire à Yahoo Pipes, puisque tout se fait via une interface graphique, ce qui rend Streamtools accessible à tous, y compris ceux qui n'ont aucune compétence en développement.

Par contre, Streamtools n'est pas simple au premier abord, donc je vous invite à lire la doc disponible ici.