Озеро скелетов Роопкунд в Индии
18.07.2019
Школьники Хотимщины принимают участие в военных мини-учениях
18.07.2019
Показать все

Google нашла способ ускорить и улучшить обучение ИИ

В последние годы Google делает большую ставку на технологии искусственного интеллекта, внедряя их во все свои продукты. Поэтому неудивительно, что поисковый гигант ищет способы улучшить и ускорить обучение нейросетей. Преуспеть в этом направлении удалось учёным из Google Brain, исследовательского подразделения американской корпорации.

Tensor Processing UnitsGoogle Tensor Processing Units

У Google уже есть аппаратное средство ускорения ИИ Tensor Processing Units, повышающее скорость обучения  искусственного интеллекта. Однако из-за особенностей конструкции этих чипов существуют ограничения в обучении нейросетей на ранних этапах, таких как предварительная обработка данных. Исследователи из Google Brain придумали метод, который существенно сокращает объём вычислений путём повторного использования промежуточных выходных данных начальных этапов. По их мнению, такой подход в некоторых случаях способен повысить скорость обучения в четыре раза.

«Обучение нейронной сети требует большего, чем просто операций, хорошо работающих на ускорителях, поэтому мы не можем полагаться только на усовершенствования ускорителей, чтобы продолжать повышать скорость. Программа обучения может нуждаться в чтении и распаковке данных тренировки, их перемешивании, группирования и даже преобразования или дополнения. Эти шаги могут использовать несколько компонентов системы, включая центральные процессоры, память, пропускную способность сети и пропускную способность памяти», — говорится в отчёте Google Brain.

В типичном обучающем процессе система ИИ сначала считывает и декодирует вводные данные, затем перетасовывает их, применяя набор преобразований, а следом собирает их в группы и итеративно обновляет параметры для уменьшения ошибок. Сотрудники Google предлагают добавить ещё один процесс, заключающийся в повторном анализе выходных данных каждого предыдущего этапа перед обновлением параметров.

В ходе экспериментов исследователи использовали ИИ-модели, обученные на наборах информации с открытым исходным кодом, для выполнения двух задач моделирования речи, двух задач классификации изображений и одной задачи распознавания объектов. Они измерили время обучения классическим методом и новым. Согласно полученным результатам, во всех случаях, кроме одного, нейросети требовалось меньше новых примеров, что сократило и ускорило процесс обучения.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...

Добавить комментарий

Войти с помощью: 

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Авторизация
*
*
Войти с помощью: 
Регистрация
*
*
*
captcha
Войти с помощью: 
Генерация пароля

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: