Интуиция говорит «вот это письмо лучше». Данные говорят иначе. A/B тест - единственный способ знать наверняка, что работает, а не угадывать. Без систематического тестирования ты оставляешь деньги на столе.
Зачем тестировать
Разница между плохим и хорошим письмом - это не «красиво/некрасиво». Это цифры. Тема письма с CTR 0.3% против 0.8% - это разница в доходе в 2.6 раза при том же объёме рассылки.
Что даёт систематическое тестирование:
- Накопление работающих паттернов - темы, CTA, структуры
- Понимание своей аудитории - что резонирует, что нет
- Рост конверсии со временем - каждый тест улучшает следующий
- Защита от субъективности - данные, не мнения
Ключевые метрики
Прежде чем тестировать - нужно понимать что мерять:
- Open Rate (OR) - процент открытий. Зависит от темы письма, имени отправителя и доставляемости. Нормальный диапазон для холодных баз: 5-20%
- Click-Through Rate (CTR) - процент кликов от доставленных. Зависит от тела письма и CTA. Нормальный CTR: 0.3-2%
- Click-to-Open Rate (CTOR) - процент кликов от открытий. Показывает качество контента письма независимо от темы. 5-15% - хорошо
- Conversion Rate (CR) - процент конверсий от кликов. Зависит от лендинга, но можно влиять качеством трафика из письма
- EPC (Earnings Per Click) - доход на клик. Главная итоговая метрика. Считай всегда
Что тестировать - приоритеты
Тестируй в порядке влияния на результат:
1. Тема письма (Subject Line) - наибольшее влияние на OR
- Длина: короткая (3-5 слов) vs длинная (10-15 слов)
- Персонализация: с именем vs без имени
- Тип: вопрос / утверждение / интрига / срочность
- Эмодзи: с vs без
- Капслок: «ВАЖНОЕ СООБЩЕНИЕ» vs «Важное сообщение»
2. Имя отправителя (From Name)
- Имя человека (Anna K.) vs название сервиса (DatingClub)
- Местное имя для ГЕО vs нейтральное
- Имя + фамилия vs только имя
3. Тело письма - влияние на CTOR
- Длина: 2-3 строки vs 5-7 строк
- Формат: чистый текст vs HTML с изображением
- Наличие кнопки vs текстовая ссылка
- Одна ссылка vs несколько ссылок
4. Время отправки
- Утро (7-9) vs день (12-14) vs вечер (19-21)
- Будни vs выходные (для разных ГЕО по-разному)
5. Лендинг (если контролируешь)
- Разные офферы одной ниши
- Разные партнёрки с одним типом оффера
Как правильно проводить тест
Правило одной переменной: меняй ОДНО за раз. Если менять тему и имя отправителя одновременно - не поймёшь что дало результат.
Размер выборки: минимум 1000-2000 получателей на каждый вариант для статистической значимости. Меньше - случайный шум, не данные.
Одинаковые условия:
- Одновременная отправка обоих вариантов
- Одна и та же база (или случайно разбитая)
- Одинаковые SMTP и инфраструктура
Срок наблюдения: 24-48 часов после отправки. OR стабилизируется за 6 часов, CTR за 24 часа.
Документируй: веди таблицу всех тестов - дата, гипотеза, вариант A, вариант B, результаты. Через месяц у тебя будет ценная база данных.
Интерпретация результатов
Смотри на несколько уровней:
- OR выше → тема работает лучше. Масштабируй победителя, тестируй дальше
- OR одинаковый, CTR разный → тело письма/CTA важнее. Меняй структуру
- CTR высокий, конверсия низкая → проблема в лендинге или аудитории. Проверь соответствие оффера и базы
- Всё низкое → инфраструктурная проблема. Проверь доставляемость, не тему
Победитель теста - не финальный ответ, а новый контроль для следующего теста. Тестирование никогда не заканчивается - рынок меняется, аудитория меняется.
Частые ошибки
- Тестировать на малой выборке - 100 писем не дают данных. Нужны тысячи
- Менять несколько переменных - невозможно понять что сработало
- Останавливаться на первом победителе - тест → победитель → новый тест против улучшенного победителя
- Игнорировать сезонность - результат теста в понедельник утром отличается от пятничного вечера
- Не документировать - через 2 месяца не вспомнишь что тестировал и что сработало
- Сравнивать разные ГЕО - тестируй в рамках одного ГЕО
Вывод
Тестирование - это систематическая работа, а не разовое действие. Лучшие рассыльщики постоянно тестируют - не потому что не знают что работает, а потому что всегда можно сделать лучше.
Начни с темы письма - это самое высокое влияние на результат за минимум усилий. Запусти 3-5 вариантов темы на один оффер, сравни OR и EPC. Победителя - в продакшн. Дальше тестируй имя отправителя, потом тело письма.
Параллельно читай как писать письма и следи за обходом фильтров - доставляемость важнее всего остального.