3i NLP Platform

Технология идентификации пола диктора по голосу основана на моделях из смесей гауссовых распределений. Точность идентификации - вероятность ошибки принять мужчину за женщину: 0,0096; - вероятность ошибки принять женщину за мужчину: 0,0357. Средний уровень ошибок при равном количестве мужчин и женщин оценивался на речевой базе, объёмом более двух тысяч фонограмм и составил 1,63%. Тип обрабатываемого сигнала: WAV-файлы, буфер отсчётов; частота дискретизации 8 кГц; разрядность квантования 8 или 16-бит; тип кодирования: A-закон, m-закон или PCM. Требования к качеству речевого сигнала - отношение сигнал/шум не менее 7 дБ. SDK реализован в виде DLL-библиотеки, написанной на языке С++, позволяющей потокобезопасное встраивание функций автоматического определения пола в произвольные Windows-приложения.

Для адресов РФ реализованы сопоставление с классификатором ФИАС, представление строки адреса в унифицированном виде, выдача списка подсказок-вариантов для продолжения адреса. Также поддерживаются разбор мест рождения СССР. Входными данными является текстовая строка с адресом или набор полей с адресными элементами, возможна также пакетная обработка адресов. RCO Address Parser 3.0 реализован в виде сервиса с поддержкой протокола SOAP. Для работы не требуется СУБД. Но если пользовательское приложение работает с СУБД Oracle, то оно может использовать дополнительные пакеты, входящие в состав поставки, упрощающие обмен данными c RCO Address Parser 3.0. Основные виды ошибок/опечаток, устраняемых во входных данных: Использование схожих по написанию латинских букв вместо кириллических; Опечатки («ул Перера» исправит на «ул Перерва»); Неполнота задания адреса (при условии уникальности заданных элементов, например, адрес «ул Xоламская, 31» преобразует в «индекс 361823, респ Кабардино-Балкарская, р-н Черекский, с Герпегеж, ул Холамская, дом 31»); Преобразование римских цифр в арабские; Использование старых названий городов и улиц («Арзамас-16, Репина, д.1, кв. 34» преобразует в «индекс 607188, обл Нижегородская, г Саров, ул Репина, дом 1, кв. 34»); Автозамена часто встречающихся устойчивых сокращений («проф.» вместо «профессора», «ак.» вместо «академика» и т.д.). Восстанавливаемая адресная информация: Почтовый индекс; Код ФИАС; Код КЛАДР; Код ОКАТО; Код ОКСМ; Пропущенные элементы адреса (область, район и т.п.). Для устранения неточностей, порой возникающих при разборе адреса, программа генерирует множество гипотез и выбирает наилучшую. Скорость обработки адресов – порядка 10/сек. на одном процессорном ядре.

PolyAnalyst предоставляет широкий выбор алгоритмов машинного обучения и статистической обработки для анализа структурированных данных, таких как числа, строки и даты. Система позволяет решать задачи классификации, кластеризации, предсказания численных значений, выявлять типичные паттерны и аномалии, и строить предсказательные модели на основе анализа временных рядов и сетевых структур. PolyAnalyst может производить чистку и обогащение данных, используя алгоритмы нечеткого сравнения разных представлений объектов. Построенные системой предсказательные модели позволяют извлекать полезные знания, скрытые в анализируемых сырых данных, и применять эти знания для принятия эффективных управленческих и бизнес-решений. PolyAnalyst содержит более тридцати современных инструментов интеллектуального анализа, позволяющих решать подавляющее число прикладных задач. Также в PolyAnalyst возможно использовать высокоуровневые языки программирования Python и R для выполнения специальных операций с данными. - Прогнозирование - Регрессионный анализ - Анализ статистических распределений - Кластеризация - Анализ покупательских корзин - Деревья решений - Анализ временных рядов - Классификация - Анализ связей - Разрешение сущностей.

Программа для аналитики PolyAnalyst представляет собой сочетание следующих элементов: - доступ практически к любому источнику, всеядность форматов данных, возможность одновременной загрузки и объединения множества файлов из вложенных папок, объединение данных из разных источников; - приведение данных в необходимый для анализа формат с помощью эффективных инструментов очистки, включая восстановление пропущенных значений и нормализации; - большая коллекция статистических инструментов, а также алгоритмов машинного обучения и передовых инструментов обработки естественного языка; - возможность создания графических отчетов с целью обобщения результатов анализа данных; - автоматизация аналитических процедур для работы без участия человека по установленному расписанию. Одно из главных преимуществ аналитики данных PolyAnalyst заключается в том, что она позволяет объединить технологии, которые обычно предполагают использование разных программ для аналитики. Все возможные операции по обработке данных, начиная с их сбора из разных источников, импорта, объединения, очистки, и заканчивая анализом данных, экспортом результатов и созданием отчетов, вы можете выполнить в единой аналитической среде. Таким образом, программа аналитики данных PolyAnalyst является сквозным инструментом по работе с данными.

Выявление дублей загружаемого документа среди имеющихся в базе данных (БД) необходимо для очистки результатов поиска от лишней информации и, следовательно, упрощения аналитической работы с базой. Процедура избавления от дубликатов двухэтапная. Первый этап – выявление важных для обнаружения дубликатов характеристик поступившего в систему документа. Второй – поиск дубликатов. Процедура выявления дубликатов двухэтапная. Первый этап – выявление важных для обнаружения дубликатов характеристик поступившего в систему документа. Второй – собственно поиск дубликатов. Дубликаты выявляются с использованием следующих условий: - Хотя бы одна контрольная сумма предложений совпадает (необходимое условие); - Разница в числе слов документов не превышает заданного значения или отношение длин документов не превосходит определенного значения (необходимое условие); - Все контрольные суммы предложений совпадают (достаточное условие); - Контрольные суммы частых слов совпадают (достаточное условие. ! Использование библиотеки RCO Deduplicator возможно лишь при наличии работающей версии программы RCO Fact Extractor !

3i Search Platform 3.x реализует широкий спектр технологий обработки текстовой информации: информационный поиск, классификацию, кластеризацию, аннотирование, выделение сущностей и многих других.

В отличие от существующих подходов, например, в предлагаемой технологии оценка достоверности идентификации основана на результатах взвешенного голосования ряда отдельных независимых решателей. Благодаря этому достигнута высокая устойчивость правильной идентификации в различных каналах связи. Специальный модуль, выделяющий речевую составляющую из звукового потока на основе определителя основного тона, обеспечивает устойчивость в условиях присутствия в звуковом потоке посторонних - не речевых - вставок. Модификация «b» (3i-SID (b)-SDK) эффективно обрабатывает сигналы с отношением сигнал/шум (ОСШ) не менее 10 дБ с отсутствием посторонних звуков (кроме гудков). Модификация «p» (3i-SID (p)-SDK) предназначена для обработки сигналов с ОСШ не менее 7 дБ, при этом допускается присутствие посторонних неречевых звуков. SDK реализован в виде DLL-библиотек, написанных на языке С++, позволяющих потокобезопасное встраивание функций идентификации диктора в произвольные Windows-приложения. Скорость обработки модификация «b» - в 150-200 раз быстрее времени звучания на одном ядре процессора; модификация «p» - в 15-20 раз быстрее времени звучания на одном ядре процессора. Тип обрабатываемого сигнала WAV-файлы, буфер отсчётов; частота дискретизации - 8 кГц; разрядность квантования - 8 или 16 бит; тип кодирования: A-закон, m-закон или PCM. Требования к качеству речевого сигнала модификация «b» - ОСШ не менее 10 дБ, отсутствие посторонних неречевых звуков (кроме гудков); модификация «p» - ОСШ не менее 7 дБ, допускается присутствие посторонних неречевых звуков.

3i TTS API позволяет произвести озвучку любого текста, используя технологию синтеза речи. Поддерживаемые языки: Русский язык (Cloud/On-premise) Доступные голоса: - Мужской; - Женский. ПО состоит из одного модуля 3i-tts-service и реализовано в виде серверного приложения, запускаемого в среде Docker.

В библиотеке реализовано два подхода к сегментации звукового потока. Первый подход является аналогом VAD – Voice Activity Detection и работает на основе информации об уровне энергии в сигнале. Второй подход основан на обнаружении в звуковом потоке признаков основного тона (PTD – Pitch Tone Detection). Присутствие в сигнале признаков основного тона, как правило, сигнализирует о наличии речи. Определение основного тона осуществляется при помощи комбинации следующих методов: - метод частотной селекции; - метод на основе кепстральных коэффициентов; - метод на основе классической автокорреляционной функции (ACF – autocorrelation function); - модифицированный автокорреляционный метод (AMDF - average magnitude difference function based method). Комбинация четырёх указанных методов обеспечивает высокую надёжность обнаружения речевой составляющей в звуковом потоке даже в сигналах с высоким уровнем помех. Тип обрабатываемого сигнала: - WAV-файлы, буфер отсчётов; - частота дискретизации 8 кГц; - разрядность квантования 8 или 16-бит; - тип кодирования: A-закон, m-закон или PCM. Библиотека реализована в виде DLL-библиотеки, написанной на языке С++, позволяющей потокобезопасное встраивание функций автоматического определения пола в произвольные Windows-приложения.

Система аналитики больших данных PolyAnalyst GRID выполняет распределенное хранение и анализ данных на совокупности серверов (узлов кластера), работа которых координируется сервисом базы данных — PolyAnalyst Database Server. Отдельные серверы узлов кластера могут работать как на физических, так и на виртуальных машинах с ОС Linux или MS Windows. Производительность системы аналитики больших данных (Big Data Analytics) - Аналитические алгоритмы PolyAnalyst GRID допускают параллельные вычисления, используют все процессорные ядра на вычислительном сервере кластера. - Аналитические алгоритмы, допускают также распределенные вычисления, дополнительно используют и все вычислительные сервера кластера. - Производительность алгоритмов системы, которые допускают распределенные вычисления, растет с общим количеством процессорных ядер на всех вычислительных серверах кластера (линейно для большинства алгоритмов). PolyAnalyst GRID включает инструменты для полного цикла аналитики с большими данными - Трансформация, очистка и обогащение данных, ETL; - Статистический анализ и машинное обучение, ML; - Интеллектуальный анализ текстовых данных, NLP;

Облачная платформа SpaceVM - Представляет собой комплексную платформу для развертывания полноценного частного облака в корпоративной среде с необходимыми дополнительными инструментами для автоматизации и оркестрации работы облачных сервисов. SpaceVM работает на базе серверов стандартной архитектуры x86-64 и позволяет перенести в облако не только веб-сайты, порталы, бизнес-приложения и рабочие станции сотрудников, но и обеспечивает работу телекоммуникационных сервисов, виртуальных маршрутизаторов, межсетевых экранов, почтовых и прокси-серверов. SpaceVM помогает снизить расходы на ЦОД, повысить время бесперебойной работы систем и приложений, а также значительно упростить работу ИТ-отдела в ЦОД. Облачная платформа SpaceVM – полнофункциональный российский аналог систем серверной виртуализации иностранного производства: VMware, Microsoft. Построение ИТ-инфраструктуры предприятия с использованием платформы SpaceVM повзолит предприятию обеспечить санкционную устойчивость и технологический суверенитет. SpaceVM предоставляет свободу выбора при построении комплексных проектов, расширяя возможности системы за счет использования открытых API-интерфейсов, реализующих взаимодействие с решениями ведущих российских поставщиков технологий, объединенных в глобальную экосистему. Возможности SpaceVM: - Гипервизор первого типа - Поддержка широкого спектра гостевых операционных систем на виртуальных машинах, в том числе различные выпуски Linux и Windows ОС. - Возможность работы на распространенных серверных платформах иностранного и отечественного производства (из реестра МПТ) - Поддержка функций высокой доступности (High Availability) и динамического перераспределения ресурсов (DRS) - Поддержка внешних СХД - Обеспечение живой миграции VM между хостами и хранилищами кластера - Поддержка виртуализации графических ресурсов (vGPU).

3i Search Platform имеет распределенную архитектуру сбора, индексации данных и обработки запросов. Система сбора данных реализована в виде коннекторов к различным источникам данных, например, к файловой системе или Интернет. 3i Search Platform обойдет внутренние и внешние источники данных, объединит их в единое информационное пространство и предоставит доступ через Web-интерфейс. Посредством SOAP-API можно получить доступ к следующим функциям системы: - поиск по ключевым словам; - смысловой поиск; - нечеткий поиск; - параметрический поиск; - поиск похожих документов; - поиск по различным типам полей; - поиск с использованием усечения (wildcard); - поиск с учетом синонимов и пользовательских словарей; - кросс-языковый поиск; - автоматическое дополнение запросов при поиске; - проверка правописания запросов; - анализ статистики по запросам (анализ интересов пользователей); - классификация документов; - ведение различных типов классификаторов для совместной работы (пользовательские, групповые, общие); - кластеризация документов; - построение карты связей для кластеров; - динамическая кластеризация результатов поиска; - ведение пользовательских агентов для мониторинга данных и уведомлений; - смысловое аннотирование. Коннекторы: файловая система, Интернет, POP3/IMAP, Fetch API. Типы файлов: более 200 различных форматов, среди них XML, HTML, PDF, файлы Microsoft Office и многие другие. Для XML и HTML имеются гибкие настройки. 3i Search Platform поддерживает лингвистическую обработку документов на следующих языках: английский, арабский, иврит, итальянский, испанский, китайский (трад.), китайский (упр.), корейский, немецкий, польский, португальский, русский, турецкий, французский, японский. Также для указанного списка доступно автоматическое определение языка. Список поддерживаемых языков пополняется. Скоростные характеристики на современных процессорах семейства Intel Xeon: - индексация на одном ядре со скоростью более 4 MB/s (32 Mbps); - выполнение более 50 простых запросов в секунду.

Бесплатный аналитический сервис Yandex DataLens от компании Яндекс.Облако предназначен для анализа данных на основе интерактивных дашбордов. Система предназначена для быстрой проверки гипотез, совместной работы с системой и визуализации бизнес-метрик. Решение Yandex DataLens подходит для разных видов организаций, отраслей и размеров. Основная целевая аудитория — это команды, работающие с данными, аналитики, разработчики и менеджеры проектов. Основные функции Yandex DataLens: - Быстрая проверка гипотез на основе данных. - Подключение разных источников данных. - Визуализация бизнес-метрик на дашбордах. - Совместная работа с системой. - Безопасность и соответствие стандартам. Особенности Yandex DataLens: - Единая экосистема и безопасность. - Гибкость подключения разных источников данных. - Командная работа с дашбордами. - Бесплатный доступ в базовой версии. Система состоит из подсистем: Дашборды Чарты Конструктор Модели данных SQL Аналитические вычисления.

PROMT Neural Translation Server подходит для перевода документов и деловой переписки на предприятиях и в организациях, осуществляющих закупки по 223-ФЗ и владеющих критически важной инфраструктурой (КИИ): - Не требует подключения к интернету. Устанавливается в локальную сеть компании или предприятия на сервер под управлением ОС Linuх. Все функции программы работают непосредственно в локальной сети, это касается и сервера, и данных. - Имеет сертификаты совместимости c такими российскими ОС, как Astra Linux, РЕД ОС, Alt Linux и другими. PNTS внесен в Реестр российского ПО (номер записи № 15703). PROMT Neural Translation Server позволяет любому количеству пользователей переводить тексты и документы без ограничений по объему. PROMT Neural Translation Server является частью экосистемы PROMT. Вы всегда можете дополнить его другими компонентами экосистемы, чтобы оптимизировать работу штатного отдела перевода, библиотечной службы и т.д. Повысить качество машинного перевода можно за счет обучения нейронных моделей. Сроки выполнения переводческих проектов сокращаются за счет: применения нейросетевых технологий, перевода документов популярных форматов с сохранением форматирования. Поддержка работы с китайским, немецким, французским, арабским и другими европейскими и азиатскими языками. Доступно 50+ языков в любых комбинациях. Высокое стартовое качество перевода и возможность тренировки нейронных моделей на ранее переведенных данных. Установка в локальной сети компании, что гарантирует полный контроль над данными и безопасную работу с корпоративной информацией.

PROMT Neural Training Аddon позволяет заказчикам самостоятельно создавать специализированные модели перевода на своих данных. При использовании PROMT Neural Training Addon любая используемая информация защищена от утечки, а количество тренировок неограниченно. ТРЕБОВАНИЯ К ДАННЫМ ✔ Данные в формате tmx, UTF-8 ✔ Рекомендуемый объем от 10 000 сегментов БЕЗОПАСНОСТЬ И КОНФИДЕНЦИАЛЬНОСТЬ ✔ Работает офлайн ✔ Тренировка на стороне заказчика ✔ Тренировочные данные не доступны третьим лицам РЕЗУЛЬТАТ ✔ Специализированная модель ✔ Модель подключается в PROMT Neural Translation Server через профиль перевода ✔ Профиль перевода доступен для перевода текста, документа, сайта, в CAT-системе (PROMT Translation Factory, Phrase, Trados Studio).

Агрегатор новостной ленты использует алгоритмы разбора текста, взаимного взвешивания документов, кластеризации документов. При построении кластеров Агрегатор на каждой итерации рассматривает временной интервал, называемый окном кластеризации. Итерации повторяются со сдвигом окна кластеризации на заданный временной отрезок, называемый шагом кластеризации. Входной информацией агрегатора являются документы новостной ленты, хранящиеся в базе данных новостей заданного формата. Агрегатор новостной ленты сохраняет результат кластеризации документов в базе данных новостей в специально разработанных таблицах. Результатом кластеризации является набор кластеров. Каждый кластер имеет набор документов, собственно образующих кластер, и набор терминов, характеризующих кластер. Указанные документы и термины имеют свой вес в кластере. Помимо штатного режима, в котором происходит обработка новых документов, Агрегатор новостной ленты имеет также ретроспективный режим, в котором за явно указанный интервал проводится кластеризация документов с заданными окном и шагом кластеризации. В базе данных сохраняются результаты всех итераций кластеризации. Внутренняя структура агрегатора допускает достаточно легкую замену одного или нескольких алгоритмов агрегатора на этапе компиляции и сборки ПО.