Осваиваем архитектуру Transformer : разработка современных моделей с помощью передовых методов обработки естественного языка

Содержание книги "Осваиваем архитектуру Transformer : разработка современных моделей с помощью передовых методов обработки естественного языка"

Об авторах
О рецензенте
Предисловие
Для кого эта книга
Какие темы охватывает эта книга
Как получить максимальную отдачу от этой книги
Скачивание исходного кода примеров
Видеоролики Code in Action
Условные обозначения и соглашения, принятые в книге
Список опечаток
Нарушение авторских прав
ЧАСТЬ I. ПОСЛЕДНИЕ РАЗРАБОТКИ В ОБЛАСТИ NLP, ПОДГОТОВКА РАБОЧЕЙ СРЕДЫ И ПРИЛОЖЕНИЕ HELLO WORLD
Глава 1. От последовательности слов к трансформерам
Технические требования
Эволюция подходов NLP в направлении трансформеров
Что такое дистрибутивная семантика?
Использование глубокого обучения
Обзор архитектуры трансформеров
Трансформеры и перенос обучения
Заключение
Дополнительная литература
Глава 2. Знакомство с трансформерами на практике
Технические требования
Установка библиотеки Transformer с Anaconda
Работа с языковыми моделями и токенизаторами
Работа с моделями, предоставленными сообществом
Сравнительное тестирование и наборы данных
Тестирование быстродействия и использования памяти
Заключение
ЧАСТЬ II. МОДЕЛИ-ТРАНСФОРМЕРЫ – ОТ АВТОЭНКОДЕРОВ К АВТОРЕГРЕССИИ
Глава 3. Языковые модели на основе автоэнкодеров
Технические требования
BERT – одна из языковых моделей на основе автоэнкодера
Обучение автоэнкодерной языковой модели для любого языка
Как поделиться моделями с сообществом
Обзор других моделей с автоэнкодером
Использование алгоритмов токенизации
Заключение
Глава 4. Авторегрессивные и другие языковые модели
Технические требования
Работа с языковыми моделями AR
Работа с моделями Seq2Seq
Обучение авторегрессивной языковой модели
Генерация текста с использованием авторегрессивных моделей
Тонкая настройка резюмирования и машинного перевода с помощью simpletransformers
Заключение
Дополнительная литература
Глава 5. Тонкая настройка языковых моделей для классификации текста
Технические требования
Введение в классификацию текста
Тонкая настройка модели BERT для двоичной классификации с одним предложением
Обучение модели классификации с помощью PyTorch
Тонкая настройка BERT для многоклассовой классификации с пользовательскими наборами данных
Тонкая настройка BERT для регрессии пар предложений
Использование run_glue.py для тонкой настройки моделей
Заключение
Глава 6. Тонкая настройка языковых моделей для классификации токенов
Технические требования
Введение в классификацию токенов
Тонкая настройка языковых моделей для NER
Ответы на вопросы с использованием классификации токенов
Заключение
Глава 7. Представление текста
Технические требования
Введение в представление предложений
Эксперимент по выявлению семантического сходства с FLAIR
Кластеризация текста с помощью Sentence-BERT
Семантический поиск с помощью Sentence-BERT
Заключение
Дополнительная литература
ЧАСТЬ III. ДОПОЛНИТЕЛЬНЫЕ ТЕМЫ
Глава 8. Работа с эффективными трансформерами
Технические требования
Обзор эффективных, легких и быстрых трансформеров
Способы уменьшения размера модели
Работа с эффективным самовниманием
Заключение
Дополнительная литература
Глава 9. Многоязычные и кросс-языковые модели
Технические требования
Моделирование языка перевода и обмен знаниями между языками
XLM и mBERT
Задачи выявления кросс-языкового сходства
Кросс-языковая классификация
Кросс-языковое обучение без подготовки
Фундаментальные ограничения многоязычных моделей
Заключение
Дополнительная литература
Глава 10. Трансформерная модель как самостоятельная служба
Технические требования
Запуск службы трансформерной модели с fastAPI
Докеризация API
Создание службы модели с использованием TFX
Нагрузочное тестирование службы с помощью Locust
Заключение
Дополнительные источники информации
Глава 11. Визуализация внимания и отслеживание экспериментов
Технические требования
Интерпретация механизма внимания
Многоуровневая визуализация потоков внимания с помощью BertViz
Заключение
Дополнительная литература
Предметный указатель