ИИ и автоматизированный сбор данных

Поисковые агенты и агенты помощников, которые указывают источник и направляют к нам читателей (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Perplexity-User и аналогичные), не ограничиваются. Они приводят к нам читателей — это справедливый обмен.

Обычные поисковые системы (Google, Bing, Yandex и другие) не ограничиваются.

Редакционный контент — новости и статьи — открыт для всех агентов.

Все остальные получают бесплатный лимит в 100 запросов к страницам курсов в день, чтобы любой агент мог ознакомиться с данными и оценить их.

Сверх бесплатного лимита автоматизированный сбор страниц рыночных курсов ботами для обучения и формирования наборов данных (GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider, Amazonbot, Applebot-Extended, Google-Extended и аналогичными) требует лицензии. Такие запросы получают ответ HTTP 402 Payment Required и ссылку на эту страницу.

Это не блокировка. Это цена.

Предпочтительно: JSON API. Структурированный, версионируемый и документированный доступ обходится обеим сторонам дешевле, чем сбор HTML — см. /api/docs.php. Для бесплатного тарифа ключ не нужен (500 запросов в день); платные тарифы начинаются с 25,000 запросов в день.

Лицензия на массовый сбор или обучение: напишите на [email protected], указав имя агента, необходимый объём и назначение данных. Мы отвечаем на коммерческие запросы.

Ответы шлюза содержат заголовки X-AI-License: required, Retry-After и Link: rel="license", указывающий на эту страницу. Классификация выполняется по User-Agent: к агентам, честно указывающим свою идентичность, применяются правила выше. На агентов, маскирующихся под браузеры, эти лимиты и разрешения не распространяются.

Наш robots.txt содержит те же правила в машиночитаемом виде.