PROMT Neural Translation Server для Linux

PROMT Neural Training Аddon позволяет заказчикам самостоятельно создавать специализированные модели перевода на своих данных. При использовании PROMT Neural Training Addon любая используемая информация защищена от утечки, а количество тренировок неограниченно. ТРЕБОВАНИЯ К ДАННЫМ ✔ Данные в формате tmx, UTF-8 ✔ Рекомендуемый объем от 10 000 сегментов БЕЗОПАСНОСТЬ И КОНФИДЕНЦИАЛЬНОСТЬ ✔ Работает офлайн ✔ Тренировка на стороне заказчика ✔ Тренировочные данные не доступны третьим лицам РЕЗУЛЬТАТ ✔ Специализированная модель ✔ Модель подключается в PROMT Neural Translation Server через профиль перевода ✔ Профиль перевода доступен для перевода текста, документа, сайта, в CAT-системе (PROMT Translation Factory, Phrase, Trados Studio).

Возможности продукта Базовые - интерфейс лингвистического администратора - API - перевод текста, html, XML - автоопределение исходного языка, типа и тематики текста - словарная справка - масштабирование системы - инструменты для настройки системы пользователем Расширенные - перевод документов любого формата (DOC(X), XLS(X), PPT(X) и др.) - перевод графических файлов (PDF, JPEG, PNG, TIFF) - автоопределение исходного языка, типа, тематики и формата документа Дополнительные - пользовательский веб-интерфейс - плагины к офисным приложениям - разработка специальных методов API - разработка новых языковых направлений - расширенные инструменты для настройки системы пользователем.

Технология идентификации пола диктора по голосу основана на моделях из смесей гауссовых распределений. Точность идентификации - вероятность ошибки принять мужчину за женщину: 0,0096; - вероятность ошибки принять женщину за мужчину: 0,0357. Средний уровень ошибок при равном количестве мужчин и женщин оценивался на речевой базе, объёмом более двух тысяч фонограмм и составил 1,63%. Тип обрабатываемого сигнала: WAV-файлы, буфер отсчётов; частота дискретизации 8 кГц; разрядность квантования 8 или 16-бит; тип кодирования: A-закон, m-закон или PCM. Требования к качеству речевого сигнала - отношение сигнал/шум не менее 7 дБ. SDK реализован в виде DLL-библиотеки, написанной на языке С++, позволяющей потокобезопасное встраивание функций автоматического определения пола в произвольные Windows-приложения.

Для адресов РФ реализованы сопоставление с классификатором ФИАС, представление строки адреса в унифицированном виде, выдача списка подсказок-вариантов для продолжения адреса. Также поддерживаются разбор мест рождения СССР. Входными данными является текстовая строка с адресом или набор полей с адресными элементами, возможна также пакетная обработка адресов. RCO Address Parser 3.0 реализован в виде сервиса с поддержкой протокола SOAP. Для работы не требуется СУБД. Но если пользовательское приложение работает с СУБД Oracle, то оно может использовать дополнительные пакеты, входящие в состав поставки, упрощающие обмен данными c RCO Address Parser 3.0. Основные виды ошибок/опечаток, устраняемых во входных данных: Использование схожих по написанию латинских букв вместо кириллических; Опечатки («ул Перера» исправит на «ул Перерва»); Неполнота задания адреса (при условии уникальности заданных элементов, например, адрес «ул Xоламская, 31» преобразует в «индекс 361823, респ Кабардино-Балкарская, р-н Черекский, с Герпегеж, ул Холамская, дом 31»); Преобразование римских цифр в арабские; Использование старых названий городов и улиц («Арзамас-16, Репина, д.1, кв. 34» преобразует в «индекс 607188, обл Нижегородская, г Саров, ул Репина, дом 1, кв. 34»); Автозамена часто встречающихся устойчивых сокращений («проф.» вместо «профессора», «ак.» вместо «академика» и т.д.). Восстанавливаемая адресная информация: Почтовый индекс; Код ФИАС; Код КЛАДР; Код ОКАТО; Код ОКСМ; Пропущенные элементы адреса (область, район и т.п.). Для устранения неточностей, порой возникающих при разборе адреса, программа генерирует множество гипотез и выбирает наилучшую. Скорость обработки адресов – порядка 10/сек. на одном процессорном ядре.

PolyAnalyst предоставляет широкий выбор алгоритмов машинного обучения и статистической обработки для анализа структурированных данных, таких как числа, строки и даты. Система позволяет решать задачи классификации, кластеризации, предсказания численных значений, выявлять типичные паттерны и аномалии, и строить предсказательные модели на основе анализа временных рядов и сетевых структур. PolyAnalyst может производить чистку и обогащение данных, используя алгоритмы нечеткого сравнения разных представлений объектов. Построенные системой предсказательные модели позволяют извлекать полезные знания, скрытые в анализируемых сырых данных, и применять эти знания для принятия эффективных управленческих и бизнес-решений. PolyAnalyst содержит более тридцати современных инструментов интеллектуального анализа, позволяющих решать подавляющее число прикладных задач. Также в PolyAnalyst возможно использовать высокоуровневые языки программирования Python и R для выполнения специальных операций с данными. - Прогнозирование - Регрессионный анализ - Анализ статистических распределений - Кластеризация - Анализ покупательских корзин - Деревья решений - Анализ временных рядов - Классификация - Анализ связей - Разрешение сущностей.

Программа для аналитики PolyAnalyst представляет собой сочетание следующих элементов: - доступ практически к любому источнику, всеядность форматов данных, возможность одновременной загрузки и объединения множества файлов из вложенных папок, объединение данных из разных источников; - приведение данных в необходимый для анализа формат с помощью эффективных инструментов очистки, включая восстановление пропущенных значений и нормализации; - большая коллекция статистических инструментов, а также алгоритмов машинного обучения и передовых инструментов обработки естественного языка; - возможность создания графических отчетов с целью обобщения результатов анализа данных; - автоматизация аналитических процедур для работы без участия человека по установленному расписанию. Одно из главных преимуществ аналитики данных PolyAnalyst заключается в том, что она позволяет объединить технологии, которые обычно предполагают использование разных программ для аналитики. Все возможные операции по обработке данных, начиная с их сбора из разных источников, импорта, объединения, очистки, и заканчивая анализом данных, экспортом результатов и созданием отчетов, вы можете выполнить в единой аналитической среде. Таким образом, программа аналитики данных PolyAnalyst является сквозным инструментом по работе с данными.

Выявление дублей загружаемого документа среди имеющихся в базе данных (БД) необходимо для очистки результатов поиска от лишней информации и, следовательно, упрощения аналитической работы с базой. Процедура избавления от дубликатов двухэтапная. Первый этап – выявление важных для обнаружения дубликатов характеристик поступившего в систему документа. Второй – поиск дубликатов. Процедура выявления дубликатов двухэтапная. Первый этап – выявление важных для обнаружения дубликатов характеристик поступившего в систему документа. Второй – собственно поиск дубликатов. Дубликаты выявляются с использованием следующих условий: - Хотя бы одна контрольная сумма предложений совпадает (необходимое условие); - Разница в числе слов документов не превышает заданного значения или отношение длин документов не превосходит определенного значения (необходимое условие); - Все контрольные суммы предложений совпадают (достаточное условие); - Контрольные суммы частых слов совпадают (достаточное условие. ! Использование библиотеки RCO Deduplicator возможно лишь при наличии работающей версии программы RCO Fact Extractor !

3i Search Platform 3.x реализует широкий спектр технологий обработки текстовой информации: информационный поиск, классификацию, кластеризацию, аннотирование, выделение сущностей и многих других.

В отличие от существующих подходов, например, в предлагаемой технологии оценка достоверности идентификации основана на результатах взвешенного голосования ряда отдельных независимых решателей. Благодаря этому достигнута высокая устойчивость правильной идентификации в различных каналах связи. Специальный модуль, выделяющий речевую составляющую из звукового потока на основе определителя основного тона, обеспечивает устойчивость в условиях присутствия в звуковом потоке посторонних - не речевых - вставок. Модификация «b» (3i-SID (b)-SDK) эффективно обрабатывает сигналы с отношением сигнал/шум (ОСШ) не менее 10 дБ с отсутствием посторонних звуков (кроме гудков). Модификация «p» (3i-SID (p)-SDK) предназначена для обработки сигналов с ОСШ не менее 7 дБ, при этом допускается присутствие посторонних неречевых звуков. SDK реализован в виде DLL-библиотек, написанных на языке С++, позволяющих потокобезопасное встраивание функций идентификации диктора в произвольные Windows-приложения. Скорость обработки модификация «b» - в 150-200 раз быстрее времени звучания на одном ядре процессора; модификация «p» - в 15-20 раз быстрее времени звучания на одном ядре процессора. Тип обрабатываемого сигнала WAV-файлы, буфер отсчётов; частота дискретизации - 8 кГц; разрядность квантования - 8 или 16 бит; тип кодирования: A-закон, m-закон или PCM. Требования к качеству речевого сигнала модификация «b» - ОСШ не менее 10 дБ, отсутствие посторонних неречевых звуков (кроме гудков); модификация «p» - ОСШ не менее 7 дБ, допускается присутствие посторонних неречевых звуков.

3i TTS API позволяет произвести озвучку любого текста, используя технологию синтеза речи. Поддерживаемые языки: Русский язык (Cloud/On-premise) Доступные голоса: - Мужской; - Женский. ПО состоит из одного модуля 3i-tts-service и реализовано в виде серверного приложения, запускаемого в среде Docker.

В библиотеке реализовано два подхода к сегментации звукового потока. Первый подход является аналогом VAD – Voice Activity Detection и работает на основе информации об уровне энергии в сигнале. Второй подход основан на обнаружении в звуковом потоке признаков основного тона (PTD – Pitch Tone Detection). Присутствие в сигнале признаков основного тона, как правило, сигнализирует о наличии речи. Определение основного тона осуществляется при помощи комбинации следующих методов: - метод частотной селекции; - метод на основе кепстральных коэффициентов; - метод на основе классической автокорреляционной функции (ACF – autocorrelation function); - модифицированный автокорреляционный метод (AMDF - average magnitude difference function based method). Комбинация четырёх указанных методов обеспечивает высокую надёжность обнаружения речевой составляющей в звуковом потоке даже в сигналах с высоким уровнем помех. Тип обрабатываемого сигнала: - WAV-файлы, буфер отсчётов; - частота дискретизации 8 кГц; - разрядность квантования 8 или 16-бит; - тип кодирования: A-закон, m-закон или PCM. Библиотека реализована в виде DLL-библиотеки, написанной на языке С++, позволяющей потокобезопасное встраивание функций автоматического определения пола в произвольные Windows-приложения.

Система аналитики больших данных PolyAnalyst GRID выполняет распределенное хранение и анализ данных на совокупности серверов (узлов кластера), работа которых координируется сервисом базы данных — PolyAnalyst Database Server. Отдельные серверы узлов кластера могут работать как на физических, так и на виртуальных машинах с ОС Linux или MS Windows. Производительность системы аналитики больших данных (Big Data Analytics) - Аналитические алгоритмы PolyAnalyst GRID допускают параллельные вычисления, используют все процессорные ядра на вычислительном сервере кластера. - Аналитические алгоритмы, допускают также распределенные вычисления, дополнительно используют и все вычислительные сервера кластера. - Производительность алгоритмов системы, которые допускают распределенные вычисления, растет с общим количеством процессорных ядер на всех вычислительных серверах кластера (линейно для большинства алгоритмов). PolyAnalyst GRID включает инструменты для полного цикла аналитики с большими данными - Трансформация, очистка и обогащение данных, ETL; - Статистический анализ и машинное обучение, ML; - Интеллектуальный анализ текстовых данных, NLP;

Облачная платформа SpaceVM - Представляет собой комплексную платформу для развертывания полноценного частного облака в корпоративной среде с необходимыми дополнительными инструментами для автоматизации и оркестрации работы облачных сервисов. SpaceVM работает на базе серверов стандартной архитектуры x86-64 и позволяет перенести в облако не только веб-сайты, порталы, бизнес-приложения и рабочие станции сотрудников, но и обеспечивает работу телекоммуникационных сервисов, виртуальных маршрутизаторов, межсетевых экранов, почтовых и прокси-серверов. SpaceVM помогает снизить расходы на ЦОД, повысить время бесперебойной работы систем и приложений, а также значительно упростить работу ИТ-отдела в ЦОД. Облачная платформа SpaceVM – полнофункциональный российский аналог систем серверной виртуализации иностранного производства: VMware, Microsoft. Построение ИТ-инфраструктуры предприятия с использованием платформы SpaceVM повзолит предприятию обеспечить санкционную устойчивость и технологический суверенитет. SpaceVM предоставляет свободу выбора при построении комплексных проектов, расширяя возможности системы за счет использования открытых API-интерфейсов, реализующих взаимодействие с решениями ведущих российских поставщиков технологий, объединенных в глобальную экосистему. Возможности SpaceVM: - Гипервизор первого типа - Поддержка широкого спектра гостевых операционных систем на виртуальных машинах, в том числе различные выпуски Linux и Windows ОС. - Возможность работы на распространенных серверных платформах иностранного и отечественного производства (из реестра МПТ) - Поддержка функций высокой доступности (High Availability) и динамического перераспределения ресурсов (DRS) - Поддержка внешних СХД - Обеспечение живой миграции VM между хостами и хранилищами кластера - Поддержка виртуализации графических ресурсов (vGPU).

3i Search Platform имеет распределенную архитектуру сбора, индексации данных и обработки запросов. Система сбора данных реализована в виде коннекторов к различным источникам данных, например, к файловой системе или Интернет. 3i Search Platform обойдет внутренние и внешние источники данных, объединит их в единое информационное пространство и предоставит доступ через Web-интерфейс. Посредством SOAP-API можно получить доступ к следующим функциям системы: - поиск по ключевым словам; - смысловой поиск; - нечеткий поиск; - параметрический поиск; - поиск похожих документов; - поиск по различным типам полей; - поиск с использованием усечения (wildcard); - поиск с учетом синонимов и пользовательских словарей; - кросс-языковый поиск; - автоматическое дополнение запросов при поиске; - проверка правописания запросов; - анализ статистики по запросам (анализ интересов пользователей); - классификация документов; - ведение различных типов классификаторов для совместной работы (пользовательские, групповые, общие); - кластеризация документов; - построение карты связей для кластеров; - динамическая кластеризация результатов поиска; - ведение пользовательских агентов для мониторинга данных и уведомлений; - смысловое аннотирование. Коннекторы: файловая система, Интернет, POP3/IMAP, Fetch API. Типы файлов: более 200 различных форматов, среди них XML, HTML, PDF, файлы Microsoft Office и многие другие. Для XML и HTML имеются гибкие настройки. 3i Search Platform поддерживает лингвистическую обработку документов на следующих языках: английский, арабский, иврит, итальянский, испанский, китайский (трад.), китайский (упр.), корейский, немецкий, польский, португальский, русский, турецкий, французский, японский. Также для указанного списка доступно автоматическое определение языка. Список поддерживаемых языков пополняется. Скоростные характеристики на современных процессорах семейства Intel Xeon: - индексация на одном ядре со скоростью более 4 MB/s (32 Mbps); - выполнение более 50 простых запросов в секунду.

Бесплатный аналитический сервис Yandex DataLens от компании Яндекс.Облако предназначен для анализа данных на основе интерактивных дашбордов. Система предназначена для быстрой проверки гипотез, совместной работы с системой и визуализации бизнес-метрик. Решение Yandex DataLens подходит для разных видов организаций, отраслей и размеров. Основная целевая аудитория — это команды, работающие с данными, аналитики, разработчики и менеджеры проектов. Основные функции Yandex DataLens: - Быстрая проверка гипотез на основе данных. - Подключение разных источников данных. - Визуализация бизнес-метрик на дашбордах. - Совместная работа с системой. - Безопасность и соответствие стандартам. Особенности Yandex DataLens: - Единая экосистема и безопасность. - Гибкость подключения разных источников данных. - Командная работа с дашбордами. - Бесплатный доступ в базовой версии. Система состоит из подсистем: Дашборды Чарты Конструктор Модели данных SQL Аналитические вычисления.

Программное решение 3i NLP Platform поддерживает распределенную обработку больших объемов данных (Big Data), отказоустойчивое хранение и высокоскоростную обработку данных с помощью средств Hadoop (HDFS, Hbase, SequenceFiles и т.п.). При проведении текстового анализа таких данных выявляется большое количество различной статистической лингвистической информации. Ее учет дает возможность существенно повысить точность и релевантность результатов, например, при поиске и классификации текстов. 3i NLP Platform предоставляет следующие возможности: - формирование и обработка статистической морфологической информации (кол-во частей речи, их распределение в массиве текстов и др.); - расчет статистики по выявленным сущностям (персоны, геолокации, организации) и результатам расчетов по определению тональности документов и сущностей; - выполнение математических операций над статистическими данными (пересечение выявленных групп данных, нахождение экземпляров данных в заданном множестве и др.); - анализ частотных характеристик морфологической и семантической информации, графическая интерпретация статистических данных.