Golden-oracle DO: the fragment snapshot (media_fragments.json) was a
circular self-snapshot generated from the refactored code. Regenerated
it from the pre-refactor BASE post_parser.py (old ladders) so it holds
base bytes — byte-identical to base for all 24 cases. The only 2 §3.14
deltas (file_unique_id_none, webpage_without_photo) moved to a new
REGISTERED_DELTAS registry in media_fragment_replay.py; the fragment
test asserts base bytes for 22 cases and the registered 5b value for 2.
Docstrings corrected to describe base-anchoring (no overclaim); a
WARNING in generate_snapshot() notes it must run against base code only.
Test-coverage DO: added test_exactly_100mb_object_is_collected pinning
the §3.13 guard as strictly '>' (exactly 100MB is still collected).
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Поверх байт-в-байт 5a — только фиксы реестра:
- §3.14: закрывающий </div> эмитится в КАЖДОЙ ветке media-рендера (раньше
несбалансированный div в конце фрагмента авто-закрывался bleach позже). На
фрагмент-оракуле изменились ровно 2 кейса (file_unique_id_none,
webpage_without_photo); в feed-голденах — чисто РЕЛОКАЦИЯ </div> с конца поста
на место сразу после пустого media-div (счётчик </div> не меняется, контент
идентичен). Затронуты каналы с webpage-без-фото (theyforcedme без изменений).
- §3.13: гард >100MB теперь на ЛЮБОЙ media-объект (не только message.video);
collection-only, байты фида не трогает.
test_stage5b_media_fixes.py (14 тестов). Полный сюит 427 passed, PYTHONHASHSEED
1/42. Golden строго по §3 (проверял независимо: net-теги 0, только </div>-релокация).
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Три параллельные ручно-синхронизируемые «лестницы» выбора media-объекта
(_get_file_unique_id dict-map, _save_media_file_ids if/elif, _generate_html_media
elif-каскад) сведены в одну точку правды: MEDIA_SOURCES (селектор → (media_obj,
render_kind), 12 записей) + RenderCtx + RENDERERS (7 рендереров подняты дословно
из старых веток). Все три консьюмера теперь ходят через таблицу; uid единообразно
через getattr(file_unique_id).
Байт-в-байт: fragment-oracle (media_fragment_replay + media_fragments.json, 24
кейса) без изменений, feed-golden без изменений. Единственная унификация —
_save_media_file_ids теперь ключуется на message.media (как две другие лестницы),
что заодно чинит латентную рассинхронизацию (в корпусе не встречается → оракул 0).
test_stage5_media_table.py (48 тестов). Полный сюит 413 passed, PYTHONHASHSEED 1/42.
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Убрал обратный ход данных: merged-группы больше не конвертируют отрендеренный
dict обратно в мок-Message (processed_message_to_tg_message удалён, −84 строки).
Футер рендерится прямо из реального главного Message группы. main_message (dict)
по-прежнему выбирается тем же критерием-индексом → title/date/author байт-в-байт.
Реестр §3:
- §3.6 custom-emoji реакции merged-футера — отдельный span на каждую (через
реальный _reactions_views_links), а не агрегированная «❓ N»;
- §3.7 дата merged-футера из naive-local реального Message (не UTC-мок); в
UTC-голдене не видна → выделенный не-UTC тест (TZ=Europe/Moscow);
- §3.8 порядок флагов merged-поста детерминирован (first-seen через
dict.fromkeys вместо hash-ordered list(set)); временная сортировка флагов
снята из оракула (golden_replay нормализатор убран, normalize_html теперь
identity); проверено — оракул стабилен на PYTHONHASHSEED 0/1/42;
- §3.15 пустой reactions-объект больше не даёт ведущий разделитель (и одиночные).
Golden обновлён строго по §3: span +2 (§3.6 сплит custom-реакции), reorder
флагов только на merged-постах (§3.8), снят ведущий разделитель на одиночном
poll-посте (§3.15). Оракул зелёный и детерминированный (2 прогона идентичны).
Полный сюит 353 passed (+6 тестов этапа 2).
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Часть эпика рефакторинга рендер-пайплайна (#34). Один bleach-конфиг на весь
проект, один санитайз на пост, ноль thread-hop'ов в циклах (раньше конфиг был
скопирован трижды и разъехался; RSS-путь делал to_thread + новый CSSSanitizer +
вложенную функцию НА КАЖДЫЙ пост, хотя _render_pipeline уже в worker-треде).
Новый sanitizer.py — единственная bleach-конфигурация: ALLOWED_TAGS (union трёх
старых копий, вкл. s/del), ALLOWED_PROTOCOLS=['http','https','tg'],
sanitize_html() зовёт bleach.clean(..., protocols=..., strip=True) (оба не-дефолт),
fail-CLOSED (html.escape при любом исключении), единое имя лога
html_sanitization_error + log_context. _render_pipeline санитайзит каждый пост
после рендера (в своём worker-треде); rss_generator −71 строка.
Реестр §3:
- §3.1 s/del теперь в фидах (раньше выживали только в одиночном посте);
- §3.2 fail-open → fail-closed (вкл. single-post/JSON путь);
- §3.3 <hr class="post-divider"> реально виден (join ПОСЛЕ санитайза; hr не в
whitelist, поэтому раньше вырезался strip=True);
- §3.4 несбалансированный фрагмент нормализуется в границах своего поста;
- §3.5 гранулярный fail-closed HTML-фида (падает один пост, не весь фид);
- §3.16 три имени санитайз-логов объединены в html_sanitization_error+log_context.
Golden-эталоны обновлены: КАЖДЫЙ изменённый байт привязан к пункту §3 (net-diff
тегов: только +<s>/§3.1 и +<hr>/§3.3; <div> сбалансирован +/- = §3.4;
после снятия этих токенов + нормализатора все 6 голденов побайтово old==new).
Оракул этапа 0 зелёный. Полный сюит 346 passed (+14 sanitizer-тестов).
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Add binary `.cache` and `.chatinfo` files for four public channels to
`tests/test_data/recorded/` to serve as a frozen test corpus. Update the
render pipeline refactor plan to reflect the completed snapshot,
selection, and inventory steps.
agent_coder
vvzvlad