Функционал
Ознакомьтесь с функциональными возможностями AutoML платформы. Антавира поможет в решении широкого диапазона задач, требующих обработки больших массивов данных, реализации продвинутой аналитики и использования алгоритмов машинного обучения.
AutoML
Концепция автоматизации машинного обучения
Платформа ANTAVIRA осуществляет автоматизацию процесса прогнозного моделирования за счет объединения в единую цепочку всех этапов моделирования для множества таргетов и их настройку при помощи «одного окна». При этом созданная технология предоставляет возможность запускать одновременно неограниченное количество расчетов с одними или разными настройками на желаемое количество таргетов, не предъявляя требования по ограничению объема выборки.
Таким образом, наша концепция AutoML построена на автоматизации ручной рутинной работы и включает в себя следующие компоненты:
- Создание проекта;
- Создание расчета, включающее выбор таргетов и настройку графа моделирования;
- Настройка каждой функции, включенной в граф на предыдущем шаге, каждого этапа процесса моделирования и запуск процессов по выбранному набору настроек для указанных таргетов одновременно;
- Моделирование, выполняемое платформой в облаке на основе ранее выбранных пользователем настроек для всех указанных таргетов с учетом указанных переменных;
- Панель управления результатами расчетов.
* Таргет – это искомая переменная, по которой проводится Процесс моделирования.
Создание проекта
Проект — это рабочая область, включающая в себя выборку с переменными и выборку с таргетами, в которой будут вестись расчеты по моделированию. В разрезе одного проекта Вы можете запустить сколько угодно процессов моделирования по нужным вам таргетам, объединенных одним набором настроек в расчет.
Мы не ограничиваем количество создаваемых Вами проектов, ограничения накладывают только Ваши финансовые возможности. Хранение данных тарифицируется.
Соответственно, для работы в платформе Вам необходимо создать файл выборки с переменными и файл выборки с таргетами в формате csv с удобными для вас разделителями столбцов.
Если файлы выборок имеют значительный размер, есть возможность передачи данных в архиве zip.
Значения переменных могут быть только числовые или строковые. Значения таргетов могут быть только бинарные (0 или 1). Со временем планируется расширить возможность использования таргетов с другими числовыми значениями.
Создание расчета
Каждый проект состоит из расчетов, которые представляют собой совокупность процессов моделирования по выбранным таргетам с одним набором настроек. Вы можете создать любое количество расчетов, их количество лимитировано только вашими финансовыми возможностями.
При создании нового расчета платформа позволяет:
- Производить выбор таргетов, которые допустимо отобрать из списка либо вставить их перечень, разделенный запятыми или знаком переноса. Обратите внимание, что если таргеты не указаны, то процессы моделирования будут запущены по всем таргетам проекта.
- Настроить граф моделирования для расчета, т.е. последовательность выполнения функций этапов моделирования. Соответственно, Вы можете создавать уникальный граф процессов моделирования для каждого расчета, выбрав функции этапов моделирования в нужной Вам последовательности, или воспользоваться готовым шаблоном, который может быть отредактирован в соответствии с Вашими потребностями.
При этом результаты работы предыдущей функции являются входными данными для следующей функции. Вместе с тем функционал платформы позволяет запускать как всю цепочку процесса моделирования, так и отдельные ее функции. Например, Вы можете запустить только делитель выборки или функцию группировки. Также любая функция кроме моделирования может быть запущена несколько раз.
Граф может заканчиваться любой функцией, однако после функции моделирования нельзя добавить ни одну другую функцию.
Обратите внимание, что если граф моделирования не сформирован индивидуально, то расчет будет иметь стандартный граф моделирования, используемый по умолчанию в платформе.
В настоящий момент создание графа, описанное выше, находится в бета-тестировании. Пока Вы можете воспользоваться Стандартным графом.
Стандартный граф в платформе представляет собой следующую последовательность функций:
- Делитель выборки;
- Группировщик переменных;
- Корреляция Крамера;
- Метод моделирования логистическая регрессия.
После того как выбор таргетов произведен и настройки графа моделирования определены, Вы можете переходить к подбору индивидуальных параметров для каждой функции каждого этапа сформированного графа.
Настраиваемые функции этапов процесса моделирования
Процесс моделирования — это построение одной прогнозной модели для одного таргета с одним набором настроек. Вы можете запустить столько процессов моделирования, сколько Вам нужно, экспериментируя:
- с выбором всех или некоторых таргетов;
- с настройкой последовательности выполнения функций этапов;
- с ограничением выборки при необходимости;
- с выбором всех или только нужных переменных;
- с различными настройками и набором функций этапов моделирования.
Функциями этапов процесса моделирования, которые подлежат настройке пользователем, являются:
- Работа с выборкой: формирование выборки, деление выборки. Подробнее по ссылке.
- Работа с переменными: формирование списка переменных, обработка значений переменных, измерение корреляции переменных. Подробнее по ссылке.
- Моделирование: выбор метода моделирования. Подробнее по ссылке.
Моделирование
После того, как все настройки определены, платформа создаст определенное количество процессов моделирования в соответствии с количеством выбранных таргетов и выбранных блоков настроек. Платформа не использует Ваши вычислительные мощности, а совершает все необходимые расчеты в облаке.
Количество времени, необходимого для выполнения моделирования, может сильно варьироваться в зависимости от многих факторов, таких как размер файла с переменными и файла с таргетами, сложность настроек, количество итераций, выбранные математические алгоритмы.
Результаты расчетов
По завершению расчетов появится список результатов моделирования, который включает таблицу с результатами по каждому таргету и панель параметров расчета. В таблице будут появляться файлы расчетов и логирования по каждому этапу моделирования, которые можно будет скачать. В процессе работы отображает прогресс-бар.
Подготовка результатов занимает время и тарифицируется отдельно.
