В последние годы Google делает большую ставку на технологии искусственного интеллекта, внедряя их во все свои продукты. Поэтому неудивительно, что поисковый гигант ищет способы улучшить и ускорить обучение нейросетей. Преуспеть в этом направлении удалось учёным из Google Brain, исследовательского подразделения американской корпорации.

Google Tensor Processing Units

У Google уже есть аппаратное средство ускорения ИИ Tensor Processing Units, повышающее скорость обучения  искусственного интеллекта. Однако из-за особенностей конструкции этих чипов существуют ограничения в обучении нейросетей на ранних этапах, таких как предварительная обработка данных. Исследователи из Google Brain придумали метод, который существенно сокращает объём вычислений путём повторного использования промежуточных выходных данных начальных этапов. По их мнению, такой подход в некоторых случаях способен повысить скорость обучения в четыре раза.

«Обучение нейронной сети требует большего, чем просто операций, хорошо работающих на ускорителях, поэтому мы не можем полагаться только на усовершенствования ускорителей, чтобы продолжать повышать скорость. Программа обучения может нуждаться в чтении и распаковке данных тренировки, их перемешивании, группирования и даже преобразования или дополнения. Эти шаги могут использовать несколько компонентов системы, включая центральные процессоры, память, пропускную способность сети и пропускную способность памяти», — говорится в отчёте Google Brain.

В типичном обучающем процессе система ИИ сначала считывает и декодирует вводные данные, затем перетасовывает их, применяя набор преобразований, а следом собирает их в группы и итеративно обновляет параметры для уменьшения ошибок. Сотрудники Google предлагают добавить ещё один процесс, заключающийся в повторном анализе выходных данных каждого предыдущего этапа перед обновлением параметров.

В ходе экспериментов исследователи использовали ИИ-модели, обученные на наборах информации с открытым исходным кодом, для выполнения двух задач моделирования речи, двух задач классификации изображений и одной задачи распознавания объектов. Они измерили время обучения классическим методом и новым. Согласно полученным результатам, во всех случаях, кроме одного, нейросети требовалось меньше новых примеров, что сократило и ускорило процесс обучения.