Статьи QuantRise
Ранжирование с умом: новый подход к предсказанию кликов
В статье представлен RIA — унифицированный алгоритм, объединяющий ранжирование и переранжирование для повышения точности предсказания CTR в рекомендательных системах.
Предложен фреймворк RIA, использующий иерархические последовательные преобразовательные блоки (HSTU) для оптимизации listwise CTR prediction в задачах контекстно-зависимых рекомендаций.
Несмотря на значительные успехи в области ранжирования, существующие методы часто разделяют этапы ранжирования и переранжирования, что приводит к проблемам разреженности данных и ограничению выразительности моделей. В данной работе представлена архитектура RIA (‘RIA: A Ranking-Infused Approach for Optimized listwise CTR Prediction’) — унифицированный сквозной фреймворк, объединяющий этапы ранжирования и переранжирования для оптимизации предсказания CTR. Благодаря интеграции модулей для моделирования контекста, учета истории пользователя и иерархических зависимостей между элементами, RIA демонстрирует значительное улучшение производительности и эффективности. Сможет ли предложенный подход стать новым стандартом в задачах рекомендаций и онлайн-рекламы, обеспечивая более релевантные и эффективные результаты для пользователей?
Временные Закономерности CTR: Вызовы и Перспективы
Точность прогнозирования коэффициента кликабельности (CTR) является ключевым фактором успеха рекламных и рекомендательных систем, напрямую влияющим на стоимость за тысячу показов (CPM). Высокий CTR означает, что реклама или рекомендация релевантна пользователю, что позволяет рекламодателям платить меньше за каждый клик и максимизировать отдачу от инвестиций. Эффективное прогнозирование CTR позволяет оптимизировать ранжирование элементов в списке, предоставляя пользователям наиболее интересные предложения и увеличивая вероятность взаимодействия. В конечном итоге, точность прогнозирования CTR напрямую коррелирует с прибыльностью рекламных кампаний и общей эффективностью платформы, делая ее центральной задачей для исследователей и практиков в области машинного обучения и информационных технологий.
Традиционные методы прогнозирования вероятности клика (CTR) испытывают значительные трудности при моделировании взаимодействия пользователей с ранжированными списками, особенно по мере увеличения их размера. Это связано с тем, что стандартные подходы часто рассматривают каждый элемент списка изолированно, игнорируя сложные взаимосвязи между ними и влияние позиции на вероятность клика. По мере роста списка экспоненциально увеличивается количество возможных комбинаций элементов, что делает обучение модели крайне ресурсоемким и приводит к снижению точности прогнозов. Эффективное моделирование требует учета не только индивидуальных характеристик каждого элемента, но и контекста, в котором он представлен, а также позиции в списке и взаимодействия с другими элементами, что представляет собой серьезную вычислительную задачу.
Проблема комбинаторной разреженности представляет собой значительную трудность при оценке моделей, предсказывающих вероятность клика (CTR) для списков элементов. Суть явления заключается в том, что большинство комбинаций элементов, одновременно представленных пользователю в списке рекомендаций или рекламных объявлениях, встречаются крайне редко в данных обучения. Это означает, что модель получает недостаточно информации для точной оценки влияния конкретной комбинации элементов на вероятность клика. В результате, оценка обобщающей способности модели становится ненадежной, поскольку она основана на ограниченном количестве наблюдений. Решение данной проблемы требует разработки специальных методов оценки, учитывающих разреженность данных и позволяющих более точно измерять эффективность моделей, работающих со списками элементов, особенно в сценариях, где размер списка постоянно увеличивается.
RIA: Единый Сквозной Фреймворк для Списочного Подхода
Представляем RIA — новый сквозной фреймворк для предсказания CTR, основанный на списочном подходе (listwise). RIA разработан для устранения ограничений существующих методов, которые часто рассматривают каждый элемент в списке независимо или используют многоступенчатые процессы, снижающие эффективность. В отличие от традиционных подходов, RIA оптимизирует ранжирование напрямую, учитывая взаимосвязи между всеми кандидатами в списке и взаимодействуя с ними как с единым целым. Это позволяет модели более точно оценивать вероятность клика (CTR) для каждого элемента, учитывая контекст всего списка и улучшая общую производительность ранжирования.
Архитектура RIA использует специализированные модули, такие как User and Candidate Dual-Transformer (UCDT) и Context-aware User History and Target (CUHT), для более точного моделирования взаимодействия между пользователем и кандидатом на клик. UCDT применяет двойной механизм трансформации, обрабатывая как информацию о пользователе, так и информацию о кандидате, что позволяет выявить сложные зависимости между ними. Модуль CUHT учитывает контекст истории пользователя и целевого элемента, включая последовательность предыдущих взаимодействий и характеристики текущего кандидата, для определения релевантности и вероятности клика. Совместное использование этих модулей обеспечивает захват нюансов взаимодействия, которые часто упускаются традиционными методами предсказания CTR.
Архитектура RIA объединяет процессы ранжирования и переранжирования в единый конвейер, что позволяет избежать необходимости последовательного применения отдельных моделей. Традиционно, сначала выполняется грубое ранжирование большого числа кандидатов, а затем переранжирование отобранной подмножества. RIA выполняет оба этапа одновременно, используя унифицированную структуру. Это приводит к снижению вычислительных затрат, поскольку исключает промежуточные шаги сохранения и повторной загрузки данных, а также к повышению точности за счет более эффективного использования информации о пользователе и кандидатах на всех этапах ранжирования. В результате достигается улучшение как эффективности, так и производительности предсказания CTR.
Иерархическое Моделирование Зависимостей в RIA
Модуль Listwise Multi-HSTU (LMH), используемый в RIA, реализует иерархические последовательные преобразовательные блоки (HSTU) для моделирования сложных взаимосвязей между элементами в ранжированном списке. HSTU обрабатывают элементы списка не как независимые единицы, а как часть иерархической структуры, учитывая контекст и зависимости между ними. Это позволяет модели учитывать влияние предыдущих элементов на вероятность клика по текущему элементу, а также учитывать взаимосвязи между элементами на разных уровнях иерархии. В результате, LMH способен более точно оценивать вероятность клика (CTR) для каждого элемента в списке, учитывая сложные взаимодействия между ними.
Модуль CUHT дополнен блоком внимания на уровне страницы (Page-level Inner Attention Unit — PIAU) и блоком внимания, учитывающим позицию целевого элемента (Position-aware Target Attention Unit — PTAU). PIAU позволяет модели анализировать взаимосвязи между элементами на странице, выявляя контекстуальные зависимости. PTAU, в свою очередь, учитывает позицию элемента в ранжированном списке, что позволяет модели более точно оценивать предпочтения пользователя, связанные с конкретной позицией элемента в выдаче. Комбинация PIAU и PTAU обеспечивает модели возможность эффективно изучать предпочтения пользователя с учетом как контекста страницы, так и позиции элемента, что повышает точность прогнозирования CTR.
Модули LMH, CUHT, PIAU и PTAU функционируют совместно для моделирования иерархических связей между элементами в ранжированном списке. Взаимодействие этих модулей позволяет учитывать не только индивидуальные характеристики каждого элемента, но и их взаимовлияние в контексте пользовательского запроса. В результате, модель способна более точно предсказывать вероятность клика (CTR) для каждого элемента, учитывая его положение в списке и связи с другими элементами, что приводит к повышению общей релевантности выдачи и улучшению пользовательского опыта.
Эмпирическая Валидация и Приращение Производительности
Исследования показали, что разработанная архитектура RIA демонстрирует заметные улучшения в предсказании кликов пользователей по сравнению с традиционными методами, такими как PRM и OCPM. Оценка проводилась на двух различных наборах данных: Avito и крупномасштабном Meituan. Использование RIA позволило добиться существенного повышения точности прогнозирования, что подтверждает ее эффективность в реальных сценариях применения. Полученные результаты указывают на перспективность данной архитектуры для оптимизации рекламных систем и повышения их производительности.
Оценка производительности алгоритма RIA на популярных датасетах Avito и Meituan продемонстрировала значительное улучшение точности предсказания кликов пользователей. В частности, метрика AUC показала прирост в 0.85% на датасете Avito и 0.96% на Meituan по сравнению с моделью YOLOR. Данные результаты подтверждают эффективность RIA в решении задачи предсказания вероятности клика, что является ключевым фактором для повышения эффективности рекламных систем и персонализации контента. Полученные улучшения указывают на то, что RIA способна более точно определять интересы пользователей, что позволяет предлагать релевантную рекламу и контент, повышая вероятность взаимодействия.
В ходе онлайн A/B тестирования на рекламной системе Meituan, разработанная архитектура RIA продемонстрировала значительное повышение эффективности. Зафиксировано увеличение показателя кликабельности (CTR) на 1.69% и стоимости за тысячу показов (CPM) на 4.54%. Более масштабная версия модели, RIA_big, показала еще более впечатляющие результаты, увеличив CTR на 2.11% и CPM на 5.83% в тех же условиях тестирования. Эти данные подтверждают практическую ценность и возможность успешного применения RIA для оптимизации рекламных кампаний в реальных условиях, способствуя повышению рентабельности инвестиций в рекламу.
Модель RIA_small, несмотря на свои уменьшенные размеры, продемонстрировала прирост в 0.31% метрики AUC на датасете Meituan, подтверждая эффективность предложенного подхода даже в условиях ограниченных ресурсов. Ключевым фактором, обеспечивающим возможность развертывания RIA в крупных онлайн-системах, является интегрированный модуль Embedding Cache (EC), значительно повышающий скорость вычислений и снижающий требования к памяти. Данное решение позволяет эффективно обрабатывать большие объемы данных и обеспечивать высокую производительность в реальном времени, что особенно важно для таких платформ, как Meituan, где требуется оперативное реагирование на запросы пользователей.
Предложенная в статье модель RIA, объединяющая ранжирование и переранжирование, представляет собой элегантное решение для оптимизации предсказания CTR. Она стремится к созданию системы, способной адаптироваться к постоянно меняющемуся потоку информации, подобно организму, сохраняющему память о прошлом. В этом контексте вспоминается высказывание Давида Гильберта: «Мы должны знать. Мы должны знать, что мы можем знать». Подобно тому, как RIA использует иерархические блоки для улавливания последовательных зависимостей в данных, так и стремление к знанию требует последовательного построения и упорядочивания информации. Эффективность предложенного подхода, особенно в условиях комбинаторной разреженности и необходимости использования кэша встраиваний, подчеркивает важность тщательно продуманной архитектуры и алгоритмов, способных справляться с растущей сложностью систем рекомендаций.
Что дальше?
Представленный подход RIA, безусловно, демонстрирует эффективность в оптимизации предсказания CTR на основе ранжирования. Однако, как и любая архитектура, стремящаяся к унификации, она несёт в себе отпечаток компромиссов. Стремление к сквозному обучению, хотя и удобно, неизбежно упрощает сложность взаимодействия между этапами ранжирования и переранжирования. Необходимо учитывать, что каждая абстракция несет груз прошлого, и попытка вместить всё в единую модель может привести к потере нюансов, критичных для долгосрочной устойчивости.
Будущие исследования, вероятно, сосредоточатся на более тонком разделении ответственности между различными компонентами системы. Возможно, более перспективным путем станет разработка модульных архитектур, позволяющих независимо оптимизировать этапы ранжирования и переранжирования, а затем интегрировать их посредством механизмов обратной связи. Ведь только медленные изменения сохраняют устойчивость. Интересным направлением представляется исследование влияния различных стратегий кеширования эмбеддингов на производительность и масштабируемость системы в условиях постоянно меняющегося ландшафта пользовательских предпочтений.
В конечном счете, задача состоит не в создании идеальной модели, а в разработке системы, способной адаптироваться к неизбежному течению времени. Все системы стареют — вопрос лишь в том, делают ли они это достойно. Истинный прогресс заключается не в достижении пиковых показателей эффективности на статичном наборе данных, а в обеспечении долгосрочной устойчивости и способности к эволюции.
Оригинал статьи: https://arxiv.org/pdf/2511.21394.pdf
Связаться с автором: https://www.linkedin.com/in/avetisyan/