Интуиция говорит «вот это письмо лучше». Данные говорят иначе. A/B тест — единственный способ знать наверняка, что работает, а не угадывать. Без систематического тестирования ты оставляешь деньги на столе.
Зачем тестировать
Разница между плохим и хорошим письмом — это не «красиво/некрасиво». Это цифры. Тема письма с CTR 0.3% против 0.8% — это разница в доходе в 2.6 раза при том же объёме рассылки.
Что даёт систематическое тестирование:
- Накопление работающих паттернов — темы, CTA, структуры
- Понимание своей аудитории — что резонирует, что нет
- Рост конверсии со временем — каждый тест улучшает следующий
- Защита от субъективности — данные, не мнения
Ключевые метрики
Прежде чем тестировать — нужно понимать что мерять:
- Open Rate (OR) — процент открытий. Зависит от темы письма, имени отправителя и доставляемости. Нормальный диапазон для холодных баз: 5–20%
- Click-Through Rate (CTR) — процент кликов от доставленных. Зависит от тела письма и CTA. Нормальный CTR: 0.3–2%
- Click-to-Open Rate (CTOR) — процент кликов от открытий. Показывает качество контента письма независимо от темы. 5–15% — хорошо
- Conversion Rate (CR) — процент конверсий от кликов. Зависит от лендинга, но можно влиять качеством трафика из письма
- EPC (Earnings Per Click) — доход на клик. Главная итоговая метрика. Считай всегда
Что тестировать — приоритеты
Тестируй в порядке влияния на результат:
1. Тема письма (Subject Line) — наибольшее влияние на OR
- Длина: короткая (3–5 слов) vs длинная (10–15 слов)
- Персонализация: с именем vs без имени
- Тип: вопрос / утверждение / интрига / срочность
- Эмодзи: с vs без
- Капслок: «ВАЖНОЕ СООБЩЕНИЕ» vs «Важное сообщение»
2. Имя отправителя (From Name)
- Имя человека (Anna K.) vs название сервиса (DatingClub)
- Местное имя для ГЕО vs нейтральное
- Имя + фамилия vs только имя
3. Тело письма — влияние на CTOR
- Длина: 2–3 строки vs 5–7 строк
- Формат: чистый текст vs HTML с изображением
- Наличие кнопки vs текстовая ссылка
- Одна ссылка vs несколько ссылок
4. Время отправки
- Утро (7–9) vs день (12–14) vs вечер (19–21)
- Будни vs выходные (для разных ГЕО по-разному)
5. Лендинг (если контролируешь)
- Разные офферы одной ниши
- Разные партнёрки с одним типом оффера
Как правильно проводить тест
Правило одной переменной: меняй ОДНО за раз. Если менять тему и имя отправителя одновременно — не поймёшь что дало результат.
Размер выборки: минимум 1000–2000 получателей на каждый вариант для статистической значимости. Меньше — случайный шум, не данные.
Одинаковые условия:
- Одновременная отправка обоих вариантов
- Одна и та же база (или случайно разбитая)
- Одинаковые SMTP и инфраструктура
Срок наблюдения: 24–48 часов после отправки. OR стабилизируется за 6 часов, CTR за 24 часа.
Документируй: веди таблицу всех тестов — дата, гипотеза, вариант A, вариант B, результаты. Через месяц у тебя будет ценная база данных.
Интерпретация результатов
Смотри на несколько уровней:
- OR выше → тема работает лучше. Масштабируй победителя, тестируй дальше
- OR одинаковый, CTR разный → тело письма/CTA важнее. Меняй структуру
- CTR высокий, конверсия низкая → проблема в лендинге или аудитории. Проверь соответствие оффера и базы
- Всё низкое → инфраструктурная проблема. Проверь доставляемость, не тему
Победитель теста — не финальный ответ, а новый контроль для следующего теста. Тестирование никогда не заканчивается — рынок меняется, аудитория меняется.
Частые ошибки
- Тестировать на малой выборке — 100 писем не дают данных. Нужны тысячи
- Менять несколько переменных — невозможно понять что сработало
- Останавливаться на первом победителе — тест → победитель → новый тест против улучшенного победителя
- Игнорировать сезонность — результат теста в понедельник утром отличается от пятничного вечера
- Не документировать — через 2 месяца не вспомнишь что тестировал и что сработало
- Сравнивать разные ГЕО — тестируй в рамках одного ГЕО
Вывод
Тестирование — это систематическая работа, а не разовое действие. Лучшие рассыльщики постоянно тестируют — не потому что не знают что работает, а потому что всегда можно сделать лучше.
Начни с темы письма — это самое высокое влияние на результат за минимум усилий. Запусти 3–5 вариантов темы на один оффер, сравни OR и EPC. Победителя — в продакшн. Дальше тестируй имя отправителя, потом тело письма.
Параллельно читай как писать письма и следи за обходом фильтров — доставляемость важнее всего остального.