Max Home IndustryTwitter планирует открыть источник технологии обработки данных в реальном времени, которая является частью недавнего приобретения BackType.
Новость была выпущены в блоге Twitter Натана Марца, где он также рассказал о возможных способах использования платформы, включая обработку потока, непрерывное вычисление и распространение RPC (вызовы удаленных процедур).
Марз утверждает, что код будет выпущен в сентябре на конференции разработчиков Snange loop.
По данным Marz, при использовании для потоковой обработки Storm предлагает преимущества отказоустойчивой и масштабируемой и может использоваться для обработки потока новых данных и обновления баз данных в реальном времени.
При использовании для непрерывных вычислений, Storm может выполнять непрерывный запрос и поток результатов для клиентов в реальном времени, как в примере потоковых тенденций в Twitter в браузерах.
Наконец, при использовании для распределенного RPC, шторм может использоваться в интенсивном запросе, чтобы запустить его параллельно на лету. В этом случае Storm настраивается как распределенная функция, которая ожидает сообщения вызова. При получении вызова он вычисляет запрос и отправляет результаты.
Marz указывает на то, что кластер Storm внешне похож на кластер Hadoop, но на Hadoop вы запускаете «MapReduce jobs», на Storm вы запускаете «топологии». «Задания» и «топологии» сами по себе сильно отличаются-одно ключевое отличие заключается в том, что задание MapReduce в конце концов заканчивает работу, тогда как топология обрабатывает сообщения навсегда (или пока не убьют).
В блоге подробно говорится о том, как использовать Storm, и стоит читать.
Если Вы хотите получить информацию о новых статьях в разделе I Programmer Вы можете либо следовать за нами в Twitter, либо Facebook, либо вы можете подписаться на наш еженедельный информационный бюллетень.