Рекомендательные системы на практике

Содержание книги "Рекомендательные системы на практике "

Предисловие от издательства
Предисловие
Благодарности
О книге
Об авторе
Об обложке
ЧАСТЬ I. Подготовка к рекомендательным системам
Глава 1. Что такое рекомендательная система?
1.1. Рекомендации в реальной жизни
1.1.1. Рекомендательные системы дома в интернете
1.1.2. Длинный хвост
1.1.3. Рекомендательная система Netflix
1.1.4. Определение рекомендательной системы
1.2. Таксономия рекомендательных систем
1.2.1. Специализация
1.2.2. Задача
1.2.3. Контекст
1.2.4. Степень персонализации
1.2.5. Чье мнение
1.2.6. Конфиденциальность и надежность
1.2.7. Интерфейс
1.2.8. Алгоритмы
1.3. Машинное обучение и Netflix Prize
1.4. Интернет-сайт MovieGEEKs
1.4.1. Оформление и характеристики
1.4.2. Архитектура
1.5. Создание рекомендательной системы
Резюме
Глава 2. Поведение пользователя, и как собирать о нем данные
2.1. Как (по моему мнению) Netflix собирает факты, пока вы пользуетесь сервисом
2.1.1. Какие факты собирает Netflix
2.2. Поиск полезных данных о поведении пользователя
2.2.1. Как узнать мнение посетителя
2.2.2. Что можно узнать по поведению обозревателя в магазине
2.2.3. Совершение покупки
2.2.4. Пользование товаром
2.2.5. Оценки посетителей
2.2.6. Знакомство с клиентами по (старому) методу Netflix
2.3. Идентификация пользователей
2.4. Получение данных о посетителях из других источников
2.5. Сборщик данных
2.5.1. Создание файлов проекта
2.5.2. Модель данных
2.5.3. Сборщик данных на стороне клиента
2.5.4. Интеграция сборщика в MovieGEEKs
Регистрация наведения курсора
Регистрация просмотра подробностей
Регистрация «сохранения на потом»
2.6. Какие пользователи есть в системе, и как их моделировать
Резюме
Глава 3. Мониторинг состояния системы
3.1. Почему панель аналитики – это круто
3.1.1. Ответ на вопрос «Как там дела у сайта?»
3.2. Реализация аналитики
3.2.1. Веб-аналитика
3.2.2. Базовые статистические данные
3.2.3. Конверсии
3.2.4. О пути к конверсиям
3.2.5. Путь конверсии
3.3. Архетипы
3.4. Панель сайта MovieGEEKs
3.4.1. Автоматическая генерация данных в журнале
3.4.2. Характеристики и дизайн панели аналитики
3.4.3. Основа панели аналитики
3.4.4. Архитектура
Резюме
Глава 4. Оценки, и как их рассчитывать
4.1. Предпочтения элементов пользователями
4.1.1. Определение оценок
4.1.2. Матрица пользователь–элемент
4.2. Явные или неявные оценки
4.2.1. Как мы используем доверенные источники для составления рекомендаций
4.3. Переоценка
4.4. Что такое неявные оценки?
4.4.1. Предложения людей
4.4.2. Что учитывать при расчете оценок
4.5. Расчет неявных оценок
4.5.1. Просмотр поведенческих данных
4.6. Как реализовать неявные оценки
4.6.1. Добавление учета времени
4.7. Более редкие элементы имеют бо́льшую ценность
Резюме
Глава 5. Неперсонализированные рекомендации
5.1. Что такое неперсонализированные рекомендации?
5.1.1. Что такое реклама?
5.1.2. Что делает рекомендация?
5.2. Как сделать рекомендации, когда у вас нет данных
5.2.1. Топ-10: диаграмма элементов
5.3. Реализация диаграмм и основы для рекомендатора
5.3.1. Компонент рекомендательной системы
5.3.2. Код MovieGEEKs на сайте GitHub
5.3.3. Рекомендательная система
5.3.4. Добавление диаграмм на MovieGEEKs
5.3.5. Заставим контент выглядеть более привлекательно
5.4. Выборочные рекомендации
5.4.1. Часто покупаемые элементы, похожие на тот, который вы просматриваете
5.4.2. Ассоциативные правила
5.4.3. Реализация ассоциативных правил
5.4.4. Сохранение ассоциативных правил в базе данных
5.4.5. Запуск калькулятора ассоциаций
5.4.6. Использование различных событий для создания ассоциативных правил
Резюме
Глава 6. «Холодные» пользователи и контент
6.1. Что такое холодный старт?
6.1.1. Холодные товары
6.1.2. Холодный посетитель
6.1.3. Серые овцы
6.1.4. Посмотрим на примеры из реальной жизни
6.1.5. Что вы можете сделать с холодным стартом?
6.2. Отслеживание посетителей
6.2.1. Анонимные пользователи
6.3. Решение проблемы холодного старта алгоритмами
6.3.1. Использование ассоциативных правил для создания рекомендаций для холодных пользователей
6.3.2. Использование знаний предметной области и бизнес-правил
6.3.3. Использование сегментов
6.3.4. Использование категорий с целью обойти проблему серых овец и холодных продуктов
6.4. Кто не спрашивает, тот не будет знать
6.4.1. Когда посетитель уже не новый
6.5. Использование ассоциативных правил с целью ускорить показ рекомендаций
6.5.1. Поиск собранных элементов
6.5.2. Получение ассоциативных правил и сортировка в соответствии со значениями уверенности
6.5.3. Отображение рекомендаций
6.5.4. Оценка реализации
Резюме
Часть II. Рекомендательные алгоритмы
Глава 7. Выявление общих черт у пользователей и контента
7.1. Что за сходство?
7.1.1. Что такое функция подобия?
7.2. Основные функции подобия
7.2.1. Расстояние Жаккара
7.2.2. Измерение расстояния с помощью Lp-норм
7.2.3. Коэффициент Отиаи
7.2.4. Вычисление сходства с помощью коэффициента корреляции Пирсона
7.2.5. Испытание сходства коэффициентом Пирсона
7.2.6. Коэффициент корреляции Пирсона на коэффициент Отиаи
7.3. Кластеризация k-средних
7.3.1. Алгоритм кластеризации k-средних
7.3.2. Реализация кластеризации k-средних на Python
7.4. Реализация вычисления сходства
7.4.1. Реализация вычисления сходства на сайте MovieGEEKs
7.4.2. Реализация кластеризации на сайте MovieGEEKs
Резюме
Глава 8. Совместная фильтрация в окрестностях
8.1. Совместная фильтрация: историческая справка
8.1.1. Когда начали использовать совместную фильтрацию
8.1.2. Взаимопомощь
8.1.3. Матрица оценок
8.1.4. Процедура совместной фильтрации
8.1.5. Нужно использовать совместную фильтрацию пользователь-пользователь или элемент–элемент?
8.1.6. Требования к данным
8.2. Расчет рекомендации
8.3. Расчет сходства
8.4. Алгоритм вычисления сходства элементов с Amazon
Если проблема повторяется – берегись!
8.5. Способы выбора окрестности
8.6. Поиск правильной окрестности
8.7. Методы прогнозирования оценок
8.8. Прогнозирование с фильтрацией по элементам
8.8.1. Вычисление прогнозов
8.9. Проблема холодного старта
8.10. Пара слов о терминах машинного обучения
8.11. Совместная фильтрация на сайте MovieGEEKs
8.11.1. Фильтрация элементов
8.12. В чем разница между правилами ассоциации и совместной фильтрацией?
8.13. Эксперименты с совместной фильтрацией
8.14. Преимущества и недостатки совместной фильтрации
Резюме
Глава 9. Оценка и тестирование рекомендательной системы
9.1. Бизнесу нужен подъем, перекрестные продажи, рост продаж и конверсии
9.2. Зачем оценивать?
Гипотеза
9.3. Как интерпретировать поведение пользователей
9.4. Что измерять
9.4.1. Понимание вкусов пользователя: сведение к минимуму ошибки предсказания
9.4.2. Разнообразие
9.4.3. Охват
9.4.4. Приятные неожиданности
9.5. Перед реализацией рекомендатора
9.5.2. Регрессионное тестирование
9.6. Виды оценки
9.7. Офлайн-оценка
9.7.1. Что делать, если алгоритм не дает рекомендаций
9.8. Офлайн-эксперименты
9.8.1. Подготовка данных для эксперимента
9.9. Реализация эксперимента в MovieGEEKs
9.9.1. Список дел
9.10. Оценка тестового набора
9.10.1. Начнем с базовых прогнозов
9.10.2. Поиск правильных параметров
9.11. Онлайн-оценка
9.11.1. Контролируемые эксперименты
9.11.2. А/В-тестирование
9.12. Непрерывное тестирование с использованием/исследованием
9.12.1. Петли обратной связи
Глава 10. Фильтрация по контенту
10.1. Описательный пример
10.2. Фильтрация на основе контента
10.3. Анализатор контента
10.3.1. Выделение признаков для профиля элемента
10.3.2. Редко встречающиеся данные
10.3.3. Преобразование года в сопоставимую функцию
10.4. Извлечение метаданных из описаний
10.4.1. Составление описаний
10.5. Поиск важных слов методом TF-IDF
10.6. Моделирование темы с использованием LDA
10.6.1. Какими крутилками настраивать LDA?
10.7. Поиск подобного контента
10.8. Создание профиля пользователя
10.8.1. Создание профиля пользователя с помощью модели LDA
10.8.2. Создание профиля пользователя с помощью модели TF-IDF
10.9. Рекомендации на основе контента на сайте MovieGEEKs
10.9.1. Загрузка данных
10.9.2. Обучение модели
10.9.3. Создание профилей элементов
10.9.4. Создание пользовательских профилей
10.9.5. Отображение рекомендаций
10.10. Оценка рекомендатора на основе контента
10.11. Плюсы и минусы фильтрации на основе контента
Резюме
Глава 11. Определение скрытых жанров с помощью матричной факторизации
11.1. Иногда чем меньше данных, тем лучше
11.2. Пример задачи
11.3. Немножко линейной алгебры
11.3.1. Матрица
11.3.2. Что за факторизация?
11.4. Выполнение факторизации с использованием SVD
11.4.1. Добавление новых пользователей путем складывания
11.4.2. Как формировать рекомендации с помощью SVD
11.4.3. Базисные предикторы
11.4.4. Временная динамика
11.5. Построение факторизации с помощью Funk SVD
11.5.1. Корень средней квадратичной ошибки
11.5.2. Градиентный спуск
11.5.3. Стохастический градиентный спуск
11.5.4. Перейдем, наконец, к факторизации
11.5.5. Добавление отклонений
11.5.6. Как начать и когда остановиться
11.6. Генерация рекомендаций с помощью Funk SVD
11.7. Реализация Funk SVD на MovieGEEKs
11.7.1. Что делать с неподходящими рекомендациями
11.7.2. Поддержание актуальности модели
11.7.3. Более быстрая реализация
11.8. Явные данные против неявных данных
11.9. Оценка
11.10. Эксперименты с моделью Funk SVD
Резюме
Глава 12. С каждого по способностям – реализуем гибридный алгоритм рекомендательной системы
12.1. Сложности мира гибридов
12.2. Монолитные рекомендаторы
12.2.1. Смешивание функций контента с поведенческими данными для улучшения алгоритмов на основе совместной фильтрации
12.3. Смешанный гибридный рекомендатор
12.4. Ансамбль
12.4.1. Переключаемый ансамбль рекомендаторов
12.4.2. Взвешенная ансамбль рекомендаторов
12.4.3. Линейная регрессия
12.5. Признако-взвешенное линейное сочетание (FWLS)
12.5.1. Представляем веса в виде функций
12.5.2. Алгоритм
12.6. Реализация
Резюме
Глава 13. Ранжирование и обучение ранжированию
13.1. Обучение ранжированию на примере Foursquare
13.2. Переранжирование
13.3. Еще раз – что такое обучение ранжированию?
13.3.1. Три типа алгоритмов LTR
13.4. Байесовское персонализированное ранжирование
13.4.1. Ранжирование с BPR
13.4.2. Магия математики (продвинутое колдовство)
13.4.3. Алгоритм BPR
13.4.4. BPR с матричной факторизацией
13.5. Реализация BPR
13.5.1. Генерация рекомендаций
13.6. Оценка
13.7. Эксперименты с BPR
Резюме
Глава 14. Будущее рекомендательных систем
14.1. Вся книга в паре предложений
14.2. Темы для дальнейшего изучения
14.2.1. Дальнейшее чтение
14.2.2. Алгоритмы
14.2.3. Контекст
14.2.4. Взаимодействие «Человек–Машина»
14.2.5. Выбор подходящей архитектуры
14.3. Что ждет рекомендательные системы в будущем?
14.4. Послесловие
Предметный указатель