Шторм будет выпущен в “Странной петле” 2011 года.

Twitter планирует открыть источник технологии обработки данных в реальном времени, которая является частью недавнего приобретения BackType.

Новость была выпущены в блоге Twitter Натана Марца, где он также рассказал о возможных способах использования платформы, включая обработку потока, непрерывное вычисление и распространение RPC (вызовы удаленных процедур).

Марз утверждает, что код будет выпущен в сентябре на конференции разработчиков Snange loop.

По данным Marz, при использовании для потоковой обработки Storm предлагает преимущества отказоустойчивой и масштабируемой и может использоваться для обработки потока новых данных и обновления баз данных в реальном времени.

При использовании для непрерывных вычислений, Storm может выполнять непрерывный запрос и поток результатов для клиентов в реальном времени, как в примере потоковых тенденций в Twitter в браузерах.

Наконец, при использовании для распределенного RPC, шторм может использоваться в интенсивном запросе, чтобы запустить его параллельно на лету. В этом случае Storm настраивается как распределенная функция, которая ожидает сообщения вызова. При получении вызова он вычисляет запрос и отправляет результаты.

Marz указывает на то, что кластер Storm внешне похож на кластер Hadoop, но на Hadoop вы запускаете “MapReduce jobs”, на Storm вы запускаете “топологии”. “Задания” и “топологии” сами по себе сильно отличаются-одно ключевое отличие заключается в том, что задание MapReduce в конце концов заканчивает работу, тогда как топология обрабатывает сообщения навсегда (или пока не убьют).

В блоге подробно говорится о том, как использовать Storm, и стоит читать.

Если Вы хотите получить информацию о новых статьях в разделе I Programmer Вы можете либо следовать за нами в Twitter, либо Facebook, либо вы можете подписаться на наш еженедельный информационный бюллетень.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *