Глубокое обучение и игра в го

Содержание книги "Глубокое обучение и игра в го "

Предисловие
Введение
Благодарности
Об авторах
Об иллюстрации на обложке
Об этой книге
Часть I. ОСНОВЫ
Глава 1. На пути к глубокому обучению: введение в машинное обучение
1.1. Что такое машинное обучение?
1.2. Пример машинного обучения
1.3. Глубокое обучение
1.4. Что вы узнаете из этой книги?
1.5. Резюме
Глава 2. Игра го как проблема машинного обучения
2.1. Почему игры?
2.2. Краткое введение в игру го
2.3. Фора
2.4. Дополнительные ресурсы
2.5. Чему можно научить машину?
2.6. Определение силы ИИ для игры в го
2.7. Резюме
Глава 3. Реализация первого бота для игры в го
3.1. Представление игры го средствами языка Python
3.2. Фиксация игрового состояния и проверка допустимости ходов
3.3. Завершение игры
3.4. Создание первого слабого бота для игры в го
3.5. Ускорение игрового процесса с помощью Zobrist-хеширования
3.6. Игра против собственного бота
3.7. Резюме
Часть II. МАШИННОЕ ОБУЧЕНИЕ И ИГРОВОЙ ИИ
Глава 4. Игры и поиск по дереву
4.1. Классификация игр
4.2. Прогнозирование действий противника с помощью алгоритма минимаксного поиска
4.3. Крестики-нолики: пример использования минимаксного алгоритма
4.4. Сокращение пространства поиска путем редукции
4.5. Оценка игрового состояния методом Монте-Карло
4.6. Резюме
Глава 5. Знакомство с нейронными сетями
5.1. Простой пример использования: классификация рукописных цифр
5.2. Основы нейронных сетей
5.3. Сети прямого распространения
5.4. Оценка предсказаний. Функции потерь и оптимизация
5.5. Обучение нейронной сети средствами языка Python
5.6. Резюме
Глава 6. Создание нейронной сети для данных игры го
6.1. Кодирование игрового состояния для подачи на вход нейронной сети
6.2. Генерирование обучающих игровых данных методом поиска по дереву
6.3. Использование библиотеки глубокого обучения Keras
6.4. Анализ пространства с помощью сверточных сетей
6.5. Предсказание вероятностей для ходов в игре го
6.6. Создание более глубоких сетей с помощью прореживания и блоков линейной ректификации
6.7. Объединяем все вместе и создаем более мощную сеть для предсказания ходов в игре го
6.8. Резюме
Глава 7. Глубокое обучение бота на основе данных
7.1. Импорт записей партий в го
7.2. Подготовка игровых данных для глубокого обучения
7.3. Обучение глубокой сети на основе партий, сыгранных человеком
7.4. Создание более реалистичных кодировщиков данных игры го
7.5. Эффективное обучение с помощью адаптивных градиентов
7.6. Проведение экспериментов и оценка эффективности
7.7. Резюме
Глава 8. Развертывание ботов
8.1. Создание агента для предсказания ходов на основе глубокой нейронной сети
8.2. Создание веб-интерфейса для бота
8.3. Обучение и развертывание бота для игры в го в облаке
8.4. Взаимодействие с другими ботами по протоколу Go Text Protocol
8.5. Локальные игры против других ботов
8.6. Развертывание бота для игры в го на онлайн-сервере
8.7. Резюме
Глава 9. Обучение на практике: обучение с подкреплением
9.1. Цикл обучения с подкреплением
9.2. Данные опыта
9.3. Создание обучающегося агента
9.4. Игра бота с самим собой: практика компьютерной программы
9.5. Резюме
Глава 10. Обучение с подкреплением и градиенты политики
10.1. Выявление хороших решений с помощью случайных игр
10.2. Изменение политик нейронной сети методом градиентного спуска
10.3. Советы по обучению бота на основе его игры с самим собой
10.4. Резюме
Глава 11. Обучение с подкреплением и методы на основе ценности действий
11.1. Игры и алгоритм Q-обучения
11.2. Реализация алгоритма Q-обучения в Keras
11.3. Резюме
Глава 12. Обучение с подкреплением и методы типа «актор–критик»
12.1. Преимущество позволяет выявить важные решения
12.2. Создание нейронной сети для обучения методом «актор–критик»
12.3. Игра с агентом типа «актор–критик»
12.4. Обучение агента типа «актор–критик» на данных опыта
12.5. Резюме
Часть III. БОЛЬШЕ, ЧЕМ СУММА ВСЕХ ЧАСТЕЙ
Глава 13. AlphaGo: собираем все вместе
13.1. Обучение глубоких нейронных сетей для создания бота AlphaGo
13.2. Бутстрэппинг игр бота с самим собой из сетей политики
13.3. Создание сети ценности на основе данных, полученных в ходе игры бота с самим собой
13.4. Повышение эффективности поиска с помощью сетей политики и ценности
13.5. Практические советы, касающиеся обучения бота AlphaGo
13.6. Резюме
Глава 14. AlphaGo Zero: интеграция поиска по дереву и обучения с подкреплением
14.1. Создание нейронной сети для поиска по дереву
14.2. Управление процессом поиска по дереву с помощью нейронной сети
14.3. Обучение
14.4. Повышение эффективности разведки с помощью шума Дирихле
14.5. Современные методы создания более глубоких нейронных сетей
14.6. Дополнительные ресурсы
14.7. Заключение
14.8. Резюме
Приложение А. Математические основы
Векторы, матрицы, и не только: основные конструкции линейной алгебры
Тензоры 3-го ранга
Тензоры 4-го ранга
Математический анализ за пять минут: производные и нахождение максимума
Приложение Б. Алгоритм обратного распространения ошибки
Пара слов о нотации
Алгоритм обратного распространения ошибки для сетей прямого распространения
Обратное распространение ошибки для последовательных нейронных сетей
Обратное распространение ошибки для всех нейронных сетей в целом
Вычислительные сложности, связанные с обратным распространением ошибки
Приложение В. Программы и серверы для игры в го
Программы для игры в го
Серверы для игры в го
Приложение Г. Обучение и развертывание ботов с помощью Amazon Web Services
Обучение моделей на сервисе AWS
Размещение бота на сервисе AWS с помощью протокола HTTP
Приложение Д. Отправка бота на онлайн-сервер для игры в го
Регистрация и активация бота на сервере OGS
Локальное тестирование OGS-бота
Развертывание OGS-бота на сервисе AWS
Предметный указатель