Доверительное A/B-тестирование : практическое руководство по контролируемым экспериментам

Содержание книги "Доверительное A/B-тестирование : практическое руководство по контролируемым экспериментам"

Отзывы рецензентов о книге
Предисловие от издательства
Вступление
Предисловие
Благодарности
ЧАСТЬ I. ВВЕДЕНИЕ ДЛЯ ВСЕХ
Глава 1. Введение и мотивация
1.1. Терминология контролируемых онлайн-экспериментов
1.2. Зачем нужны эксперименты? Корреляции, причинно-следственная связь и доверительность
1.3. Необходимые ингредиенты для проведения эффективных контролируемых экспериментов
1.4. Постулаты
1.5. Постепенные улучшения
1.6. Примеры интересных контролируемых онлайн-экспериментов
1.7. Стратегия, тактика и их связь с экспериментами
1.8. Дополнительное чтение
Глава 2. Проведение и анализ экспериментов. Пример полного цикла
2.1. Условия демонстрационного эксперимента
2.2. Проверка гипотез: установление статистической значимости
2.3. Разработка эксперимента
2.4. Проведение эксперимента и сбор данных
2.5. Интерпретация результатов
2.6. От результатов к решениям
Глава 3. Закон Тваймана и надежность экспериментов
3.1. Неправильная интерпретация статистических результатов
3.2. Доверительные интервалы
3.3. Угрозы внутренней достоверности
3.4. Угрозы внешней достоверности
3.5. Разделение по сегментам
3.6. Парадокс Симпсона
3.7. Поощряйте здоровый скептицизм
Глава 4. Платформы и культура экспериментов
4.1. Модели зрелости экспериментов
4.2. Инфраструктура и инструменты
ЧАСТЬ II. ИЗБРАННЫЕ ТЕМЫ ДЛЯ ВСЕХ
Глава 5. Скорость имеет значение!
5.1. Ключевое предположение: локальная линейная аппроксимация
5.2. Как измерить быстродействие веб-сайта
5.3. Схема эксперимента по замедлению
5.4. Влияние различных элементов страницы
5.5. Экстремальные результаты
Глава 6. Организационные показатели
6.1. Таксономия показателей
6.2. Выработка показателей: принципы и методы
6.3. Оценка показателей
6.4. Развивающиеся показатели
6.5. Дополнительное чтение
6.6. Примечание: ограничительные показатели
6.7. Примечание: преднамеренная манипуляция показателями
Глава 7. Показатели экспериментов и общий критерий оценки
7.1. От бизнес-показателей к показателям, подходящим для экспериментов
7.2. Объединение ключевых показателей в OEC
7.3. Пример: OEC для электронной почты на Amazon
7.4. Пример: OEC для поисковой системы Bing
7.5. Закон Гудхарта, закон Кэмпбелла и замечание Лукаса
Глава 8. Институциональная память и метаанализ
8.1. Что такое институциональная память?
8.2. Почему полезна институциональная память?
Глава 9. Этика контролируемых экспериментов
9.1. Что лежит в основе этики
9.2. Сбор данных
9.3. Культура и процессы
9.4. Примечание: идентификация пользователей
ЧАСТЬ III. ДОПОЛНИТЕЛЬНЫЕ И АЛЬТЕРНАТИВНЫЕ МЕТОДЫ КОНТРОЛИРУЕМЫХ ЭКСПЕРИМЕНТОВ
Глава 10. Дополнительные методы
10.1. Пространство дополнительных методов
10.2. Анализ на основе журналов
10.3. Экспертная оценка
10.4. Исследование пользовательского опыта
10.5. Фокус-группы
10.6. Обзоры
10.7. Внешние данные
10.8. Подведем итог главы
Глава 11. Наблюдательные исследования причинно-следственных связей
11.1. Когда контролируемые эксперименты невозможны
11.2. Планы для наблюдательных исследований причинно-следственных связей
11.3. Ловушки причинно-следственных связей
11.4. Приложение: опровергнутые исследования причинно-следственных связей
ЧАСТЬ IV. ПЛАТФОРМЫ ДЛЯ ЭКСПЕРИМЕНТОВ: УГЛУБЛЕННОЕ ИЗУЧЕНИЕ
Глава 12. Эксперименты на стороне клиента
12.1. Различия между серверной и клиентской стороной
12.2. Следствия из компромиссов
12.3. Выводы
Глава 13. Инструментарий экспериментов
13.1. Инструменты на стороне клиента и сервера
13.2. Обработка журналов из нескольких источников
13.3. Культура измерений
Глава 14. Выбор единицы рандомизации
14.1. Единица рандомизации и единица анализа
14.1 Рандомизация на уровне пользователя
Глава 15. Развитие эксперимента: компромисс между скоростью, качеством и риском
15.1. Что такое рампинг?
15.2. Шаблон SQR для рампинга
15.3. Четыре фазы рампинга
15.4. Что после рампинга?
Глава 16. Анализ масштабных экспериментов
16.1. Подготовка данных
16.2. Вычисление данных
16.3. Формирование сводки и визуализация результатов
ЧАСТЬ V. РАЗВЕРНУТОЕ ОПИСАНИЕ АНАЛИЗА ЭКСПЕРИМЕНТОВ
Глава 17. Статистика контролируемых онлайн-экспериментов
17.1. Двухвыборочный t-тест
17.2 p-значение и доверительный интервал
17.3. Предположение о нормальности
17.4. Ошибки типа I/II и статистическая мощность
17.5. Смещение
17.6. Множественное тестирование
17.7. Метаанализ Фишера
Глава 18. Оценка дисперсии и повышение чувствительности: подводные камни и решения
18.1. Распространенные ошибки
18.2. Повышение чувствительности
18.3. Дисперсия других статистических данных
Глава 19. A/A-тестирование
19.1. Почему нужны A/A-тесты?
19.2. Как проводить A/A тесты
19.3. Когда A/A-тест не подходит
Глава 20. Включение по условию для повышения чувствительности
20.1. Примеры включения по условию
20.2. Числовой пример
20.3. Оптимальное и консервативное включение
20.4. Общий эффект воздействия
20.5. Достоверность включения
20.6. Распространенные ошибки
20.7. Открытые вопросы
Глава 21. Несоответствие коэффициента выборки и другие ограничительные показатели
21.1. Несоответствие коэффициента выборки (SRM)
21.2. Причины возникновения SRM
21.3. Устранение SRM
21.4. Другие ограничительные показатели, связанные с доверием
Глава 22. Утечка и интерференция между вариантами
22.1. Примеры
22.2. Некоторые практические решения
Глава 23. Измерение долгосрочных эффектов
23.1. Что такое долгосрочные эффекты?
23.2. Причины, по которым могут различаться краткосрочные и долгосрочные эффекты
23.4. Зачем измерять долгосрочные эффекты?
23.5. Длительные эксперименты
23.6. Альтернативные методы для длительных экспериментов
Предметный указатель