PolyAnalyst Data mining & Machine learning

Система аналитики больших данных PolyAnalyst GRID выполняет распределенное хранение и анализ данных на совокупности серверов (узлов кластера), работа которых координируется сервисом базы данных — PolyAnalyst Database Server. Отдельные серверы узлов кластера могут работать как на физических, так и на виртуальных машинах с ОС Linux или MS Windows. Производительность системы аналитики больших данных (Big Data Analytics) - Аналитические алгоритмы PolyAnalyst GRID допускают параллельные вычисления, используют все процессорные ядра на вычислительном сервере кластера. - Аналитические алгоритмы, допускают также распределенные вычисления, дополнительно используют и все вычислительные сервера кластера. - Производительность алгоритмов системы, которые допускают распределенные вычисления, растет с общим количеством процессорных ядер на всех вычислительных серверах кластера (линейно для большинства алгоритмов). PolyAnalyst GRID включает инструменты для полного цикла аналитики с большими данными - Трансформация, очистка и обогащение данных, ETL; - Статистический анализ и машинное обучение, ML; - Интеллектуальный анализ текстовых данных, NLP;

Инструменты ETL и BI для преобразования данных и конструирования веб-отчетов PolyAnalyst ETL & BI предоставляет пользователям средства self-service трансформации данных, а также отображения результатов сложных алгоритмов анализа в виде интерактивных графических отчетов, доступных для понимания неспециалистов. ДОСТУПНА ВСЯ ПАЛИТРА ETL-ИНСТРУМЕНТОВ: - Объединение - Аналог SQL JOIN - Конкатенация - Аналог SQL UNION - Агрегирование - Аналог SQL GROUP BY - Разность - Формирование таблицы из записей, имеющихся в одной таблице, но отсутствующих в другой - Производные колонки - Расчет и вывод новых производных вычисляемых атрибутов, а также построение правил проверки данных - Условия - Позволяет установить условия для выполнения дочерних узлов, что способствует автоматизации выполнения скрипта - Фильтрация строк - Фильтрует записи согласно критерию, заданному аналитиком - Фильтрация данных - Позволяет фильтровать колонки, которые не представляют интереса с точки зрения статистического анализа данных - Транспонирование - Позволяет переводить данные из строчного представления в колонки. Аналог функции PIVOT - Выборка - Генерирует из талицы данных случайные выборки записей или выборки, отвечающие определенным условиям - Редактирование таблицы - Позволяет вручную редактировать данные в исходной таблице - ABC/XYZ анализ - Позволяет разделить продукты на 3 группы (A, B и C) по критерию привлекательность продукта, или группы X, Y и Z по стабильности продаж - RFM анализ - Позволяет разделить клиентов на различные сегменты в зависимости от их активности и ценности для компании - Извлечение и замена терминов - Уникальные записи - Модификация колонок - Сортировка строк - Дискретизация - REST - Простой инструмент для отправки запросов GET/POST/PUT/DELETE без написания самих запросов - Python Всего более 100 Self-Service инструментов для работы с данными. ETL & BI инструменты: преимущества использования PolyAnalyst ETL & BI системы для трансформации и анализа больших данных - Загрузка, трансформация, очистка, обогащение и графическое предоставление данных в одной системе, без необходимости сопряжения различных программных продуктов; - Создание модели proof of concept бизнес-пользователем за 1 час без привлечения ИТ-специалиста; - Несколько десятков Low-code инструментов преобразования данных, настраиваемых без программирования; - Последовательности аналитических процедур легко настраиваются на регулярное автоматизированное выполнение; - Возможность интеграции кода и моделей, разработанных на языках Python и R; - Оперативное self-service создание пользовательских отчетов; - Свыше 30 нативных графических инструментов для построения отчетов, настраиваемых без написания кода; - Удобный веб-интерфейс для работы в браузере; - Возможность многомерного представления результатов; - Гибко настраиваемая ролевая модель, разграничивающая доступ к данным и отчетам; - Высокая масштабируемость и производительность: поддержка крупных массивов данных и большого количества пользователей; - Возможность полностью автономной работы системы в закрытом контуре заказчика или публикации отчетов в Интернете с использованием безопасного шифрованного канала доступа.

PolyAnalyst Text решает весь спектр задач текстового анализа: извлекает факты и отношения из документов, кластеризует и классифицирует тексты, составляет аннотацию, анализирует тональности и многое другое. Технология text mining позволяет выполнять обработку естественного языка, которая по глубине и точности превосходит результаты аналогичных технологий. Кроме инструментов анализа текста, в систему также входят средства семантического анализа и алгоритмы машинного обучения. Вы сможете анализировать текстовые документы и отзывы в разных форматах и на разных языках, а также документы, содержащие как структурированные, так и неструктурированные данные. Text mining инструменты решающие все задачи анализа текста: - Извлечение фактов - Распознавание сканов - Классификация - Обезличивание - Анализ тональности - Резюмирование - Кластеризация Система интеллектуального анализа текста органично сочетает в себе передовые инструменты обработки естественного языка, средства семантического текстового анализа и алгоритмы машинного обучения, что позволяет пользователям получать результаты высокой точности. Мы предлагаем вам: - средства для загрузки данных из всех популярных источников и документов разного формата; - эффективные инструменты Text Mining для очистки и преобразования данных; - непревзойденную систему интеллектуального анализа текста, включающую в себя: - инструменты лингвистического (лексического, морфологического и синтаксического) анализа; - поддержку онтологий и семантических словарей; - статистические инструменты и алгоритмы машинного обучения.

Программа для аналитики PolyAnalyst представляет собой сочетание следующих элементов: - доступ практически к любому источнику, всеядность форматов данных, возможность одновременной загрузки и объединения множества файлов из вложенных папок, объединение данных из разных источников; - приведение данных в необходимый для анализа формат с помощью эффективных инструментов очистки, включая восстановление пропущенных значений и нормализации; - большая коллекция статистических инструментов, а также алгоритмов машинного обучения и передовых инструментов обработки естественного языка; - возможность создания графических отчетов с целью обобщения результатов анализа данных; - автоматизация аналитических процедур для работы без участия человека по установленному расписанию. Одно из главных преимуществ аналитики данных PolyAnalyst заключается в том, что она позволяет объединить технологии, которые обычно предполагают использование разных программ для аналитики. Все возможные операции по обработке данных, начиная с их сбора из разных источников, импорта, объединения, очистки, и заканчивая анализом данных, экспортом результатов и созданием отчетов, вы можете выполнить в единой аналитической среде. Таким образом, программа аналитики данных PolyAnalyst является сквозным инструментом по работе с данными.

Бесплатный аналитический сервис Yandex DataLens от компании Яндекс.Облако предназначен для анализа данных на основе интерактивных дашбордов. Система предназначена для быстрой проверки гипотез, совместной работы с системой и визуализации бизнес-метрик. Решение Yandex DataLens подходит для разных видов организаций, отраслей и размеров. Основная целевая аудитория — это команды, работающие с данными, аналитики, разработчики и менеджеры проектов. Основные функции Yandex DataLens: - Быстрая проверка гипотез на основе данных. - Подключение разных источников данных. - Визуализация бизнес-метрик на дашбордах. - Совместная работа с системой. - Безопасность и соответствие стандартам. Особенности Yandex DataLens: - Единая экосистема и безопасность. - Гибкость подключения разных источников данных. - Командная работа с дашбордами. - Бесплатный доступ в базовой версии. Система состоит из подсистем: Дашборды Чарты Конструктор Модели данных SQL Аналитические вычисления.

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Функционал зависит от комплектации набора модулей: Комплектация Academic по функционалу совпадает с комплектацией Modeler и предназначена для некоммерческого использования в ВУЗах и других учебных и академических учреждениях. Для государственных учебных заведений и научно-исследовательских институтов. Позволяет решать широкий круг задач и максимально эффективно использовать в учебном и научно-исследовательском процессе для инженеров, врачей, экономистов, менеджеров, и др. специальностей.

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Полный функционал: Загрузка и сохранение таблиц в разных форматах Сохранение графиков Сохранение и загрузка рабочих книг Автоматическое формирование отчётов Фильтрация данных Обработка выбросов и пропусков Проверка нормальности и подгонка распределений Стандартизация данных и преобразование к нормальному распределению Балансировка классов и разбиение на выборки Описательные статистики и корреляции Таблицы частот и таблицы сопряжённости Т-критерий Дисперсионный анализ Непараметрическая статистика Множественная линейная и нелинейная регрессия <Обобщённые линейные модели Совместный анализ и шкалирование лучше-хуже Карты контроля качества и анализ процессов Анализ измерительных систем Стандартные графики: линейный, гистограмма, диаграмма рассеяния, ящик с усами График средних с ошибками Диаграмма Вороного и разбиение Делоне График ближайших соседей Круговая диаграмма Диаграмма причин и следствий Интерактивное удаление данных по графику Интерполяция сплайнами и РБФ Вариограммы и кригинг Кластеризация: К-средних, иерархическая, DBSCAN, EM Карты Кохонена Факторный анализ Логит и пробит регрессии Линейный и нелинейный дискриминантный анализ Канонический анализ Алгоритм априори Метод опорных векторов Случайный лес Преобразование временных рядов Сезонная АРПСС Спектральный анализ Описательные статистики для изображений И многие другие актуальные статистические методы.

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Функционал зависит от комплектации набора модулей: Максимально полная комплектация включает комплектацию Modeler, алгоритмы внедрения, оптимизации и обновления предиктивных моделей. Позволяет решать самые сложные задачи в бизнесе, экономике, промышленности, фармацевтике и др. областях человеческой деятельности путем выбора лучшей прогностической модели на основе ключевых индикаторов, внедрения и обновления прогностических моделей, применения алгоритмов оптимизации на основе разработанных моделей. Комплектация Data Scientist качественно расширяет функционал комплектации Modeler. К модулям машинного обучения добавляется возможность автоматического выбора лучшей модели, а для деревьев регрессии появляется особый модуль оптимизации – с его помощью можно подобрать значения предикторов так, чтобы целевые переменные укладывались в заданные границы. Для временных рядов появляется возможность проводить вейвлет-анализ. Полный функционал: Все модули из Modeler Скоринг моделей Выбор лучшей модели (регрессия) Выбор лучшей модели (классификация) Оптимизация деревьями регрессии .

Платформа обеспечивает решение следующих задач: - Сбор и консолидацию данных с иерархической организационной структуры в единое хранилище данных. - Загрузку данных в хранилище из внешних информационных систем и внешних файлов. - Систематизацию и хранение данных в виде массивов показателей с набором аналитических признаков. - Конструирование форм представления данных. - Вычисления на основе алгоритмов агрегирования и формул расчета. - Анализ данных. - Визуализацию на аналитических панелях (дашбордах): таблицах, графиках, картах. - Подготовку и выпуск регламентированной отчетности. - Выгрузку данных во внешние файлы и информационные системы. Использование программно-технологической платформы Триафлай (ПТП Триафлай) позволяет повысить скорость и эффективность внедрения ИАС, а также модифицировать систему в ходе эксплуатации без привлечения разработчиков, средствами пользовательского интерфейса.

Область применения специального программного обеспечения (СПО) "СТАТЭКС" Социологические опросы - Формирование и редактирование опросных листов онлайн - Создание и выгрузка бланков опросных анкет - Проведение социологических опросов посредством мобильных устройств - Выгрузка сводных собранных результатов в формате прикладного ПО Оценка экспертных мнений - Проведение сбора экспертных мнений как посредством Интернет, так и закрытых ведомственных сетей - Персональный учёт каждого эксперта, его мнения, компетентности и опыта - Использование инструментов анкетирования, ранжирования и оценки документов - Представление в онлайн-режиме и выгрузка сводных собранных результатов в формате прикладного ПО Маркетинговые исследования - Интерактивное представление данных соцопросов в виде диаграмм и графиков - Фильтрация в реальном времени данных по географической карте и дополнительным условиям отбора - Представление распределения фокусных групп на основе кластерного анализа - Выгрузка графиков и диаграмм для использования во внешнем прикладном обеспечении Статистический анализ - Проведение статистических расчетов в веб-интерфейсе - Использование гибкого математического аппарата - Предоставление многоэтапного инструментария расчетов - Загрузка и выгрузка совокупностей кейсов в формате прикладного ПО.

Конструктор веб-форм QForm освобождает программистов от рутины и мелких задач. В сервисе возможно разделять права доступа к сайтам, что удобно для работы больших команд с различными зонами ответственности. Назначьте администратора или гостя, чтобы управлять доступом к базе клиентов и наладить отправку уведомлений. Вы сами выбираете, кому хотите поручить сбор полученных заявок, чтобы исключить ошибки и повысить продуктивность. В отличии от других сервисов, мы не ограничиваем своих пользователей в функционале или количестве сайтов, заявок. Наш бесплатный конструктор квизов и форм — это простой и мощный инструмент для любого бизнеса.

Аналитическая система «N3.Аналитика» поддерживает полный цикл работ с данными: загрузка/очистка/преобразование/хранение/визуализация. Импорт информации осуществляется из разных источников, включая: - реляционные и нереляционные базы данных; - веб-сервисы SOAP и Restful; - файлы различных форматов. После проверки, очистки и трансформации данные поступают в промежуточное хранилище, где накапливаются в виде «озера данных». Для формирования корпоративного хранилища используется обеспечивающая целостность данных методология Data Vault 2.0; за процесс обработки от загрузки до агрегации отвечает компонент интеграции, разработанный на основе открытого ПО ApacheAirflow. Следующий этап — формирование витрины данных для построения визуальных отчетов — происходит в аналитическом хранилище. В работе платформы задействована колоночная БД на основе Yandex Clickhouse, благодаря чему даже на большом объеме данных отчеты формируются мгновенно. Для визуализации BI аналитики выбран один из лучших среди свободного ПО инструментов — платформа ApacheSuperSet, обеспечивающая 30 видов представления информации, включая возможность построения специализированных отчетов. Создание отчетов осуществляется с помощью конструктора, располагающего интуитивно-понятным интерфейсом и не требующего от оператора знания языков программирования. Детализация данных до любого уровня. От общей картины к поиску причин. Cбор, обработка, анализ, хранение и визуализация данных, построение отчетности. Управленческие дэшборды и панели мониторинга для контроля всех аспектов работы компании и персонала. Выявление проблем, определение перспектив. К преимуществам BI системы следует отнести: - способность быстро обрабатывать большие объемы информации, используя современные программы для аналитики; - расширенные возможности в части визуализации данных; - создание различных типов отчетов пользователями без навыков программирования.

Позволяет полностью автоматизировать работу с файловыми источниками, снизить сложность разработки проектов хранилищ данных и ускорить их пилотный запуск. Ускорение запуска пилотных проектов хранилищ данных. Быстрое получение структуры источников, генерация структуры таблиц, организация захвата, очистки и консолидации данных, создание аналитических витрин данных. Снижение сложности разработки проектов хранилищ данных. Удобная организация командной работы, уменьшение объема кода благодаря шаблонизации, простая настройка стендов разработки, тестирования и промышленной эксплуатации. Автоматизация работы с файловыми источниками и веб сервисами. Захват и многопоточное копирование файлов, парсинг разнообразных файловых форматов с буферзацией для пакетной загрузки в базы данных. Возможность совершенствования собственного программного обеспечения на Java совместимых платформах. Полноценный функционал управления объектами данных и процессами с визуальным интерфейсом, запуск и контроль выполнения процессов. Преимущества: - Кроссплатформенная среда разработки для Windows, Linux и Mac OS - Централизованный репозиторий структур данных, моделей и процессов - Low-code подход с шаблонизацией решений - Онлайн и оффлайн командная работа с помощью Git - Интеграция с Java приложениями - Центр управления работой задач по расписанию на серверах - ETL язык работы с источниками данных на базе Java и Groovy С помощью EasyPortal можно автоматизировать работу с различными источниками данных: РСУБД: PostgreSql, MySql, MS SQLServer, Oracle, IBM DB2, H2 database, FireBird, SQLite ХД: Vertica, Green Plum, Netezza, ClickHouse Hadoop: Hive, Impala Файловые: CSV, Excel, DBF, JSON, YAML, XML Другие: Kafka, Web services, HDFS Для файловых источников поддерживается работа со следующими файловыми системами: Локальные FTP SFTP HDFS.

Система Analytic Workspace состоит из следующих подсистем: - Источники данных, - Модели, - Виджеты, - Информационные панели, - Администрирование. Подключение к различным источникам данных ETL-трансформация и аналитика данных ML-прогнозирование Self-service визуализация данных Работайте одновременно с различными источниками данных Базы данных (Oracle, Clickhouse, MySQL, Microsoft SQL, Greenplum, PostgreSQL, Vertica, MariaDB, MongoDB, Red Database, Firebird, OData, 1C); Файлы и архивы с файлами (QVD,.xls, .xlsx, .json, .txt, .csv, .xml, .tsv, .xlsb, .ods, .odf, .jsonl); Внутреннее хранилище Analytic Workspace на базе Clickhouse; Web-сервисы (API); Доступно добавление своих JDBC-коннекторов Анализируйте данные и получайте результаты Analytic Workspace — это полноценная BI-аналитика и трансформация данных для решения самых сложных бизнес-задач: Извлечение и трансформация данных с помощью Extract-Transform-Load (ETL)-модуля на базе связки сервисов Apache Spark и Apache Airflow; Создание моделей drag-and-drop способом; Использование SQL в моделях; Создание расчетных полей и иерархии; Объединение таблиц одного/нескольких источников; Внутреннее аналитическое хранилище на базе Clickhouse; ML-прогнозирование Визуализируйте 26 вариантов встроенных визуальных элементов и возможность сформировать собственный виджет с использованием HTML, CSS и JS благодаря встроенной интеграции с Echarts, где доступно 400 видов визуализации. Экспорт данных возможен в форматы: .png, .pdf, .csv, .xlsx, формируется индивидуальный доступ по ссылке для каждого виджета. Работайте командой Web-интерфейс; Многопользовательский режим; Разграничение прав доступа по принципу ABAC (доступ к атрибутам) до уровня виджетов с возможностью расширения полномочий; Безопасность данных.

Технология идентификации пола диктора по голосу основана на моделях из смесей гауссовых распределений. Точность идентификации - вероятность ошибки принять мужчину за женщину: 0,0096; - вероятность ошибки принять женщину за мужчину: 0,0357. Средний уровень ошибок при равном количестве мужчин и женщин оценивался на речевой базе, объёмом более двух тысяч фонограмм и составил 1,63%. Тип обрабатываемого сигнала: WAV-файлы, буфер отсчётов; частота дискретизации 8 кГц; разрядность квантования 8 или 16-бит; тип кодирования: A-закон, m-закон или PCM. Требования к качеству речевого сигнала - отношение сигнал/шум не менее 7 дБ. SDK реализован в виде DLL-библиотеки, написанной на языке С++, позволяющей потокобезопасное встраивание функций автоматического определения пола в произвольные Windows-приложения.

Для адресов РФ реализованы сопоставление с классификатором ФИАС, представление строки адреса в унифицированном виде, выдача списка подсказок-вариантов для продолжения адреса. Также поддерживаются разбор мест рождения СССР. Входными данными является текстовая строка с адресом или набор полей с адресными элементами, возможна также пакетная обработка адресов. RCO Address Parser 3.0 реализован в виде сервиса с поддержкой протокола SOAP. Для работы не требуется СУБД. Но если пользовательское приложение работает с СУБД Oracle, то оно может использовать дополнительные пакеты, входящие в состав поставки, упрощающие обмен данными c RCO Address Parser 3.0. Основные виды ошибок/опечаток, устраняемых во входных данных: Использование схожих по написанию латинских букв вместо кириллических; Опечатки («ул Перера» исправит на «ул Перерва»); Неполнота задания адреса (при условии уникальности заданных элементов, например, адрес «ул Xоламская, 31» преобразует в «индекс 361823, респ Кабардино-Балкарская, р-н Черекский, с Герпегеж, ул Холамская, дом 31»); Преобразование римских цифр в арабские; Использование старых названий городов и улиц («Арзамас-16, Репина, д.1, кв. 34» преобразует в «индекс 607188, обл Нижегородская, г Саров, ул Репина, дом 1, кв. 34»); Автозамена часто встречающихся устойчивых сокращений («проф.» вместо «профессора», «ак.» вместо «академика» и т.д.). Восстанавливаемая адресная информация: Почтовый индекс; Код ФИАС; Код КЛАДР; Код ОКАТО; Код ОКСМ; Пропущенные элементы адреса (область, район и т.п.). Для устранения неточностей, порой возникающих при разборе адреса, программа генерирует множество гипотез и выбирает наилучшую. Скорость обработки адресов – порядка 10/сек. на одном процессорном ядре.