«Назад

BigData в P1.Platform

В последнее время для наших клиентов возможность управлять большими объемами информации и реализовывать их ценность, переходит от важной компетенции к критической необходимости.
Для решения задач обработки и управления данными в платформе P1.Platform, разработанной Лабораторией Свободных Решений реализованы подходы и методы BigData — быстрой и эффективной обработки огромных объемов как структурированных, так и неструктурированных данных.
BigData относится к технологиям и практикам, оперирующим данными, которые слишком разнообразны, обладают высокой степенью изменчивости и объемны, чтобы традиционные технологии и инфраструктура могли рационально их обрабатывать.
Ключевыми характеристиками информации, которые позволяют отнести ее к BigData являются:
  • Объем: сотни терабайт информации, ежедневно генерируемые компаниями; распространение смартфонов, носимых устройств и увеличение количества датчиков, встроенных в предметы обихода, создающих миллиарды новых, постоянно обновляемых потоков данных. 
  • Скорость возникновения: поведение пользователей при миллионах событий в секунду; высокочастотные алгоритмы; межмашинное взаимодействие, обеспечивающие обмен данными между миллиардами устройств; инфраструктурные, датчики, генерирующие огромные объемы информации в реальном времени. 
  • Разнообразие: геопространственные, трехмерные, аудио, видео данные; неструктурированный текст; телеметрия. 
В P1.Platform решение по управлению большими данными основано на одном из самых эффективных инструментов – MongoDB.
MongoDB – это документоориентированная система управления базами данных с открытым исходным кодом, разработанная с учетом требований к высокой производительности и неограниченной масштабируемости.
Основными преимуществами MongoBD, как инструмента для работы с BigData, являются:
  • Гибкая схема данных. 
  • Поддержка нестандартных динамических запросов (Ad-hoc запросов). 
  • Встроенная функциональность распределенных вычислений (MapReduce). 
  • Автоматическое распределение данных и балансировка запросов между кластерами. 
  • Быстрое и дешевое масштабирование. 
Решение P1.Platform применяется для реализации проектов, подразумевающих работу с очень большими объемами данных и необходимость сложного ретроспективного и оперативного анализа. Это дает возможность нашим клиентам конструировать приложения, оперирующие большим количеством источников данных и позволяющих анализировать, преобразовывать и извлекать из них значимую информацию.
Используя возможности интеграционной подсистемы, механизмов MongoDB, предназначенных для хранения и обработки BigData, средства хранения и извлечения структурированной информации из BigData, а также мощные аналитические инструменты, предоставляемые P1.Platform — наши клиенты получают возможность комплексно решать задачи сбора, трансформации, обработки и анализа больших данных.