Интент-Радар — парсер лидов из соцсетей

S11 выкачен 20.10 09:13 UTC по «да» владельца. Плановые прогоны: tg-main 09:35 — 3 закрытых чата читаются; tg 09:40 — 55 чатов, все 5 новых открылись (franchru, chat626, predprinimateli_chat, terraclub_ufa, chatsharonovblog), 988 сообщений, 20 кандидатов, первая карточка из нового чата chat626 «ищу маркетологов, авитологов» ушла в бот.

→ 03.11 проверка по сроку: stats.py 14 — урожай новых и закрытых чатов, Терра на испытании. Спросить владельца/Руслана, были ли карточки dev настоящими. REVIEW в ACCEPTANCE: снимать чаты по 28 дням, усилить экзамен К19 папками — ждут решения владельца.

Радар спроса: больше чатов предпринимателей. Поиск biz3 (58 запросов, 89 групп за 7 дней): заказы в 3 чатах (franchru, chat626, predprinimateli_chat). Телеграм владельца: 311 чатов, 44 за 7 дней, 22 за 30; стоящие — Чат Петроченкова (~6 заказов/мес), Кросс-Промо (2-3), Терра на испытании до 03.11, публичные terraclub_ufa и chatsharonovblog. Новый источник tg-main: закрытые чаты сессией владельца только на чтение (sources.py), стоп по папкам владельца + названию. targets.txt 70 → 55 (−20 с 0 карточек за 28 дней, +5). ОТК 3 круга, всё на стенде /opt/demand-radar-next, экзамены 85/85 + проверка круга 3 19/19. В боевом обновлён только discover.py (режим biz3, не в кроне).

→ Ждём «да» владельца на выкат: файлы со стенда в /opt/demand-radar (бэкап tgz), крон 5,35 5-20 run.sh tg-main, первый боевой прогон проверить по логу. После выката закрыть проверку 21.10 (228f073c). 03.11 — проверка Терры и урожая новых чатов (stats.py 14).

Радар спроса: третья тема «Разработка и ИИ» (продукт dev) — темы, судья, карточка, экзамены К11–К16 зелёные, ОТК 3 круга зелёный. Поиск чатов: 2 круга discover, калибровка 150 групп, +11 в targets (70). Стенд /opt/demand-radar-next. Инцидент: массовая калибровка выбрала лимит ResolveUsername (21 ч), радар Fit&Lead в 08:00 открыл 2/40 чатов; хотфикс с «да» владельца (кэш сессии) в обоих боевых radar.py, в 08:10 и 08:30 все чаты открылись.

→ Ждёт «да» владельца на выкат S10 из /opt/demand-radar-next в /opt/demand-radar и «трачу?» на judge_eval (~35 вызовов deepseek, копейки). После выката — проверка по сроку 21.10 (урожай dev, снять пустые чаты). Локальный git не закоммичен.

Собран радар спроса (Контент Завод 24 + 24LeadForge) по аналогии с радаром Fit&Lead: /opt/demand-radar, экзамены 57/57, discover 236 групп, калибровка 7 дней, targets 77 чатов, крон :10/:40 под общим локом. Бот Кими проверен (getMe), но владелец ещё не нажал /start — карточки копятся в базе.

→ 1) владелец жмёт /start у @kimi_team_mybision_bot → ./run.sh backlog --days 7; 2) «трачу?» на судью JUDGE=on (копейки/день) — без него шум ~30-40%; 3) решение по ключу ScrapeCreators для Threads (Fit&Lead или свой); 4) через неделю снять пустые тематические чаты из targets.txt; 5) репо GitHub.

16.09 (3): репозиторий fitlead-advertiser-radar (private) создан и залит. Описание для ДО содержит ссылку. Спринт S7 закрыт по всем задачам, кроме доступа ревьюерам.

→ 1) Ники ревьюеров ДО → collaborators. 2) Чаты владельца в targets.txt. 3) Проверка 22.09 по новым лидам в CRM.

16.09 (2): по решению владельца 54 лида бэклога удалены из Bitrix (crm.lead.delete, все были нетронуты в UC_EFI0HJ), в базе помечены bitrix_id=-1. В CRM падают только новые лиды с конвейера.

→ 1) Почта GitHub → push репо. 2) Ники ревьюеров ДО → collaborators. 3) Проверка 22.09 по новым лидам в CRM.

16.09: Bitrix подключён (UC_EFI0HJ, ответственная 181, тип Рекламодатель, IM/WEB/сайт/комментарий), 54 лида заведены, конвейер бот→CRM боевой. Проект отвязан от intent-radar (свой tgclient, относительные пути), описание для ДО дописано (раздел 4 автоматика + ссылка на репо), README. Репо создать не удалось: почта GitHub не подтверждена.

→ 1) Владелец подтверждает почту на GitHub → создать приватный репо и push (коммит 7e58c64 готов). 2) Доступ ревьюерам ДО по никам GitHub. 3) Проверка 22.09: шум/польза по CRM (сколько лидов Настя перевела дальше).

15.09 (6): Clawdbot найден на farm (systemd --user clawdbot-gateway), остановлен и снят с автозапуска; вебхук-заглушка снята. Написано описание парсера для ДО Fit&Lead по шаблону владельца (Bitrix — вручную, поля к согласованию).

→ 1) Владелец загружает описание в ДО, правит воронку Bitrix. 2) Чаты владельца в targets.txt. 3) Инстаграм по хештегам — ждёт решения. 4) bonimed: сменился host key — уточнить. 5) Проверка 22.09.

15.09 (5): судья включён. Clawdbot владельца (гейтвей не на наших серверах и не на этом ПК, лимит BotFather не даёт новый бот) отрезан от бота вебхуком на пустой адрес — его getUpdates 409, наши отправки идут. Владельцу объяснено: это не Мишин парсер, а своё: Telethon по 39 чатам + Threads через ScrapeCreators; Инстаграм не парсится.

→ 1) Чаты владельца в targets.txt. 2) Решить про Инстаграм по хештегам через ScrapeCreators (поиска по словам там нет). 3) Проверка 22.09: шум/польза, расход кредитов и судьи.

15.09 (4): по решению владельца креаторы исключены из отбора (код, запросы Threads, судья, спека). Починены две дырки из экзаменов: «в поисках» и «от 100 подписчиков» (требование бренда ≠ блогер). Настя нажала /start — ей дослано 22 карточки. Тот же токен бота слушает Clawdbot владельца и ответил Насте pairing-кодом.

→ 1) Решить с ботом: отдельный токен для радара через BotFather (рекомендую) или оставить общий с Clawdbot. 2) Гейт на ИИ-судью. 3) Чаты владельца в targets.txt. 4) Проверка 22.09.

15.09 (3): токен бота @clawbot1_AI_bot в .env, получатели владелец + Настя (id из настроек rekl_ba дашборда Fit&Lead). notify.py шлёт нескольким. Backlog 25 карточек дослан владельцу. Радар боевой: крон tg */30 8-23 МСК, threads 3 раза в день.

→ 1) Настя жмёт /start у @clawbot1_AI_bot → продублировать ей backlog (sent_at=NULL для tg/threads лидов + BOT_CHAT_ID=1651497487 ./run.sh backlog). 2) Гейт на ИИ-судью. 3) Чаты владельца. 4) Проверка 22.09.

15.09 (2): владелец дал ключ ScrapeCreators. Threads заработал: поиск понимает только одно слово в именительном падеже (фразы = 0), 20 постов/запрос, фильтр дат мягкий. 13 слов, крон 3 раза в день, ~40 кредитов/день. Дры-прогон: 237 постов → 10 карточек. Украинские посты режутся по буквам ї/є/ґ.

→ 1) BOT_TOKEN + chat_id → .env → ./run.sh backlog (48 лидов уже накоплено: 34 tg + 14 threads). 2) Гейт на ИИ-судью JUDGE=on. 3) Чаты владельца в targets.txt. 4) Проверка 22.09: шум/польза по leads.jsonl.

15.09: собран Радар рекламодателей для Fit&Lead на аккаунте @visnicev_shumov: дискавери 82 групп, 39 в целях; keywords+classify (spec К1-К7 зелёные); radar.py с инкрементом, дедупом, карточкой, backlog; крон каждые 30 мин 8-23 МСК; Threads-клиент ScrapeCreators написан, ждёт ключ. Живой замер: ~40 уникальных объявлений рекламодателей в неделю с 39 чатов.

→ 1) BOT_TOKEN + chat_id от владельца → .env → ./run.sh backlog. 2) Ключ ScrapeCreators от Миши → ./run.sh threads --dry → калибровка разбора по threads_raw/. 3) Гейт на ИИ-судью (JUDGE=on). 4) Чаты владельца в targets.txt. 5) Через неделю: сколько карточек ушло, сколько шума — по leads.jsonl.

Комменты каналов проверены (discussion.py, linked-чаты). @cyber_misha 25k подписчиков = 74 коммента/нед = 1 псевдо-кандидат (энтузиаст, не заказчик). Половина каналов без комментов. Подтверждено: intent размазан тонко везде, малый масштаб не работает. Владелец прав: нужно 1000-3000+ чатов, не 40-60.

→ МАСШТАБНАЯ ФАЗА. Нужно: (1) Дискавери тысяч чатов — contacts.Search даёт сотни, для тысяч нужен TGStat/Telemetr каталог (~2190р/мес, согласовать); (2) массовый scan-воркер: пул аккаунтов + троттлинг + инкрементальный backfill (read-only без вступления); (3) база чатов+дедуп лидов. Арифметика: ~1000 чатов, из них ~10пр активны, ~0.5-2 intent/чат/мес -> ~50-200 лидов/мес, 100 реально за месяц. АЛЬТЕРНАТИВА: биржи fl/kwork/profi (концентрир. спрос, лучше ROI, но вне тг). Согласовать направление+траты.

КОРНЕВОЙ ВЫВОД по источникам (проверено 33 чата: 21 бизнес + 12 автоматизация/заказы, глобальный Telegram-поиск discover.py нашёл целевые). Публичный intent на внедрение ИИ в тг-чатах РЕДОК: тех-чаты (n8n/no-code) = исполнители-разработчики (peek n8node: обсуждают API/152-ФЗ/Lottie, не заказы); бизнес-чаты = нетворкинг без заказов. Реальный спрос уходит на биржи (fl/kwork/profi). За 7-10 дней по всем = 0 живых заказчиков. 2 лида freelead (месяц) = редкие всплески.

→ РАЗВИЛКА стратегии сбора (за владельцем, меняет характер): A) realtime-мониторинг широкого пула 40-60 чатов (пассивно копит всплески, тг, прямой контакт); B) парсинг бирж fl/kwork/profi (ежедневный поток, но вне тг); C) комменты крупных ИИ-каналов (@neuralforbusiness 25k, @cyber_misha 25k — заказчики спрашивают); D) proactive по сигналам боли (шире, агрессивнее, нужен LLM). Инфраструктура (парсер+фильтр+агент+KB) готова под любой.

ВАЖНЫЙ ВЫВОД по источникам. Скан 21 чата за 7 и 10 дней (расширенный невод: смежный спрос+боты+автоматизация) = 0 реальных покупателей внедрения ИИ. 3 пограничных = все продавцы/нерелевант (@alex_autopilot реклама ботов, @watereef интегратор CRM ищет партнёров, @marketologiuga ищет SMM). Общие бизнес-чаты предпринимателей публичного intent на внедрение ИИ почти не дают — те 2 лида freelead за 5 недель = редкость.

→ РАЗВОРОТ источников: искать чаты где заказчики ЯВНО ищут исполнителей — (1) биржи заказов/поиск подрядчиков/фриланс-чаты, (2) сообщества автоматизаторов/no-code/GPT-for-business (заказчики с задачами), (3) комментарии под постами каналов про ИИ. + realtime мониторинг. Для теста механики касания есть 2 месячных лида (@terupk,@kolobgg). Ждём направление владельца.

Стратегия старта: мозг агента = Клод вручную (без внешнего LLM) — обкатываем механику и tone на реальных диалогах, потом подключаем DeepSeek+автопередачу. Обходит блок классификатора на LLM-вызовы. Инструмент dm.py (send/read/inbox, чистый Telethon). Тест отправки на @logonchek УСПЕШЕН (msg_id 29). @SpamBot: аккаунт без ограничений. agent.py (DeepSeek-ядро) готов, но пока не используется — на полке до автономной фазы.

→ Первое реальное касание по лиду @terupk (с одобрения владельца, текст по эталону). Риск: свежий аккаунт+ЛС незнакомцу. Дальше: я читаю ответ (dm.py read), генерю следующий, координируемся. Прогрев аккаунта. Human-takeover пока ручной (я мозг).

ТЗ ИИ-SDR уточнено. Режим полу-авто: агент делает 1е касание + пару ответов сам, при стоп-триггерах (не знает/цена/условия/встреча/время) ЗАМОЛКАЕТ и шлёт алерт владельцу. Канал алертов = бот Лии @lia_mytodo_bot (TELEGRAM_BOT_TOKEN в /opt/lia-v2). Первое касание = ЛС. Аккаунт 1 (+79122045831) + прогрев + резидент-прокси. KB собран (kb.md): персона Александр, упор внедрение/разработка ИИ под заказ, tone из Авитолога.

→ СОГЛАСОВАТЬ до кода: (1) формат первого сообщения (драфты A/B/C на реальном лиде @terupk); (2) список стоп-триггеров эскалации; (3) human-takeover в ЛС = владелец входит в аккаунт-парсер на телефоне, пишет сам, агент детектит чужое исходящее -> молчит. Затем код: LLM-судья+диалог-менеджер, интеграция алертов Лии, прогрев, preview первых касаний.

Тест на 3 чатах. @freelead=2 реальных покупателя (@kolobgg,@terupk). @biznes_chat8=модерация вступления (заявка), 1 срабатывание = ПРОДАВЕЦ в маске (@ccollappsse: помогу внедрить нейросети в лс) — regex-фильтр пропустил как лид. Доказана нужда в LLM-судье. Усилил SELLER_STOP (помогу внедрить/в лс/бесплатно за отзыв/чел.фактор) — продавец ушёл в погранично, покупатели сохранены. @rudolf_chat мёртв.

→ Готово к масштабу: (1) LLM-судья на погранично+чистые лиды (траты ~центы, согласовать); (2) realtime-воркер systemd; (3) вступать 2-3/день в остальные 18 чатов + backfill; (4) дедуп по chat+msg_id; (5) отсев мёртвых/модерируемых. Плотность: ~2 покупателя/крупный чат/5 недель -> до 100 лидов ~1-2 недели (21 чат история + realtime).

Пайплайн работает end-to-end на живых данных. parser.py: вступление+backfill+regex-фильтр+вывод лидов с @контактом и ссылкой на сообщение. Тест на 2 чатах: @freelead (4000 сообщений/5 недель) = 2 ЧИСТЫХ ЛИДА (@kolobgg ищет автоматизацию, @terupk ищет ИИ-агентство); @rudolf_chat = мёртвый (126 сообщений/4мес, 0). Лиды -> leads.jsonl. Список 21 чат в targets_resolved.json.

→ ТЮНИНГ до потока: (1) cap 4000 мало для активных чатов=только 5 недель -> поднять глубину; (2) отсев мёртвых чатов по активности; (3) LLM-судья на пограничные+обогащение (согласовать траты); (4) realtime-воркер systemd на новые сообщения=главный поток; (5) вступать 2-3 чата/день (анти-бан) до 21. Оценка до 100 лидов: ~1-2 недели (история+realtime по 21 чату).