Те, кто строит агентов
Основная часть трафика. Агенту дают ссылку в чате, и ему нужен пост за ней — текст, цифры, тред, к которому он относится — без ключа, который оператору пришлось бы покупать, хранить и менять.
XCRAP.CC
В 2023 году X закрыл бесплатный API, а замену оценил в $200 в месяц за тариф, который всё равно не читает большинство постов. Через месяц x.com начал просить читателей без входа залогиниться после двух постов.
Пострадали не те, кто мог заплатить. Пострадали студенты, исследователи, энтузиасты и огромное число маленьких ИИ-инструментов, которым надо было прочитать пару публичных постов, а теперь стало нельзя.
XCrap — минимально возможный ответ на это. Он читает страницы, которые любой мог бы открыть в браузере, и отдаёт их в форме, пригодной для модели. Больше он ничего не делает.
Основная часть трафика. Агенту дают ссылку в чате, и ему нужен пост за ней — текст, цифры, тред, к которому он относится — без ключа, который оператору пришлось бы покупать, хранить и менять.
У диссертации о том, как расходится утверждение, нет строки расходов на 200 $ в месяц. И у группы из сорока студентов, каждому из которых нужно вытащить по двести постов, тоже.
Пост, процитированный в материале, должен оставаться читаемым и после того, как аккаунт удалят, переименуют или заблокируют. Прочитать его в Markdown и сохранить — это разница между источником и битой ссылкой.
Замените x.com на xcrap.cc в адресной строке и читайте. Без аккаунта, без установки приложения, без лимита в два поста и без окна с просьбой войти.
Защищённые аккаунты, личные сообщения, всё за персональным логином. XCrap читает только публичные аккаунты: их посты, профили, ответы на их посты и списки подписчиков.
Посты кэшируются пять дней и удаляются. Медиа идёт потоком и никогда не пишется на диск. Здесь нет архива, который можно затребовать через суд или слить.
Ключа нет, а значит, и счёт выставлять не за что. Если расходы перестанут покрываться, честнее сказать об этом, чем поставить пейволл.
Попросили исключить — исключим в тот же день, без формы и без объяснений.
X закрыл бесплатный API в 2023 году и назначил замене такую цену, что чтение публичных постов стало статьёй расходов компании. Официальная причина — данные слишком ценны, чтобы раздавать их даром.
Их раздали даром. Grok. Те же публичные посты, которые студент не может прочитать бесплатно, обучают и питают чат-бота, принадлежащего той же компании, — и продаются вам обратно, по подписке, в виде ответа о постах, читать которые вам не дали. Данные никогда не были слишком ценны, чтобы их раздать. Они были слишком ценны, чтобы их получил кто-то ещё.
Условия X теперь запрещают кому бы то ни было обучать ИИ на постах, опубликованных в X, — а Grok, созданный xAI, материнской компанией X, обучается именно на них. Илон Маск держит контент X в заложниках ради одного ИИ: единственная модель, которой разрешено учиться на том, что миллионы людей написали публично, принадлежит владельцу платформы. Представьте, что Reddit закрыл бы пятнадцать лет обсуждений, бесплатно написанных его пользователями, для всех ИИ, кроме собственного. Никто не назвал бы это защитой данных. Это присвоение, и это нечестно.
Так что нет. Публичное значит публичное. Пост, написанный в публичной ленте, который год назад открывал браузер без входа в аккаунт, не становится собственностью оттого, что так решил купивший здание. XCrap читает то, что мог бы прочитать любой, и возвращает это в пригодном для работы виде. Вот и весь аргумент, и извиняться за него мы не собираемся.
Ничто из этого не повод быть небрежным. Всё, что сказано выше, остаётся в силе: ничего приватного, ничего не хранится, а отказ от индексации исполняется в тот же день. Быть против платного барьера — не то же самое, что быть против людей за ним.
Домен и сервер — вот и весь бюджет. Нет рекламы, нет платного тарифа, нет инвесторов и нечего вам потом допродать. Всё покрывают пожертвования, и если однажды перестанут покрывать, честно будет сказать об этом, а не тихо поставить платный барьер.
X, scrape и очевидное третье. В два часа ночи это было смешнее, а домен к тому моменту уже был куплен.