From b81819ef6388c0885ca3460f9f9737e7dd90f430 Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 05:31:34 +0300 Subject: [PATCH 01/52] feat(tree): Expand all / Collapse all for the space page tree Adds a server-authoritative whole-tree endpoint and sidebar menu commands so a deep space tree can be expanded in one request instead of a per-level BFS storm. Server: - POST /pages/tree (SidebarPageTreeDto: spaceId | pageId), same CASL space scoping as /sidebar-pages. Returns the whole space tree / subtree as a flat list in the sidebar item shape (id, slugId, title, icon, position, parentPageId, spaceId, hasChildren, canEdit), ordered by position (collate C byte order), content never fetched. - page.service.getSidebarPagesTree reproduces getSidebarPages' two-branch permission model: open space -> spaceCanEdit; restricted space -> seed the full descendant set then prune via filterAccessibleTreePages + filterAccessiblePageIdsWithPermissions (keeps restricted-but-granted pages, prunes inaccessible subtrees). hasChildren is derived from the final filtered set so it can never reveal inaccessible children. - page.repo.getSpaceDescendants: recursive CTE seeded by space roots. Client: - SpaceTree is forwardRef exposing expandAll/collapseAll/isExpanding; expandAll fetches the whole tree once, replaces current-space nodes, opens every branch (current space only), aborts on space switch, surfaces real errors; collapseAll collapses only current-space ids (shared open-map). - SpaceMenu gains Expand all / Collapse all items (no admin gate). Implements docs/backlog/tree-expand-collapse-all.md. Co-Authored-By: Claude Opus 4.8 --- .../public/locales/en-US/translation.json | 3 + .../features/page/services/page-service.ts | 8 + .../page/tree/components/space-tree.tsx | 106 ++++++++++- .../components/sidebar/space-sidebar.tsx | 45 ++++- .../src/core/page/dto/sidebar-page.dto.ts | 10 + apps/server/src/core/page/page.controller.ts | 45 ++++- .../src/core/page/services/page.service.ts | 132 ++++++++++++- .../page/services/sidebar-pages-tree.spec.ts | 179 ++++++++++++++++++ .../src/database/repos/page/page.repo.ts | 54 ++++++ 9 files changed, 573 insertions(+), 9 deletions(-) create mode 100644 apps/server/src/core/page/services/sidebar-pages-tree.spec.ts diff --git a/apps/client/public/locales/en-US/translation.json b/apps/client/public/locales/en-US/translation.json index 21f7c5f7..c2c8255e 100644 --- a/apps/client/public/locales/en-US/translation.json +++ b/apps/client/public/locales/en-US/translation.json @@ -977,6 +977,9 @@ "Page menu": "Page menu", "Expand": "Expand", "Collapse": "Collapse", + "Expand all": "Expand all", + "Collapse all": "Collapse all", + "Couldn't expand the tree: {{reason}}": "Couldn't expand the tree: {{reason}}", "Comment menu": "Comment menu", "Group menu": "Group menu", "Show hidden breadcrumbs": "Show hidden breadcrumbs", diff --git a/apps/client/src/features/page/services/page-service.ts b/apps/client/src/features/page/services/page-service.ts index 146da7dd..6434ec7c 100644 --- a/apps/client/src/features/page/services/page-service.ts +++ b/apps/client/src/features/page/services/page-service.ts @@ -92,6 +92,14 @@ export async function getAllSidebarPages( }; } +export async function getSpaceTree(params: { + spaceId: string; + pageId?: string; +}): Promise { + const req = await api.post("/pages/tree", params); + return req.data.items; +} + export async function getPageBreadcrumbs( pageId: string, ): Promise> { diff --git a/apps/client/src/features/page/tree/components/space-tree.tsx b/apps/client/src/features/page/tree/components/space-tree.tsx index 1c3aab8e..e3e339c9 100644 --- a/apps/client/src/features/page/tree/components/space-tree.tsx +++ b/apps/client/src/features/page/tree/components/space-tree.tsx @@ -1,8 +1,17 @@ import { useAtom } from "jotai"; -import { useCallback, useEffect, useMemo, useRef, useState } from "react"; +import { + forwardRef, + useCallback, + useEffect, + useImperativeHandle, + useMemo, + useRef, + useState, +} from "react"; import { useParams } from "react-router-dom"; import { useTranslation } from "react-i18next"; import { Text } from "@mantine/core"; +import { notifications } from "@mantine/notifications"; import { fetchAllAncestorChildren, useGetRootSidebarPagesQuery, @@ -19,7 +28,10 @@ import { } from "@/features/page/tree/utils/utils.ts"; import { SpaceTreeNode } from "@/features/page/tree/types.ts"; import { treeModel } from "@/features/page/tree/model/tree-model"; -import { getPageBreadcrumbs } from "@/features/page/services/page-service.ts"; +import { + getPageBreadcrumbs, + getSpaceTree, +} from "@/features/page/services/page-service.ts"; import { IPage } from "@/features/page/types/page.types.ts"; import { extractPageSlugId } from "@/lib"; import { DocTree } from "./doc-tree"; @@ -30,10 +42,20 @@ interface SpaceTreeProps { readOnly: boolean; } -export default function SpaceTree({ spaceId, readOnly }: SpaceTreeProps) { +export type SpaceTreeApi = { + expandAll: () => Promise; + collapseAll: () => void; + isExpanding: boolean; +}; + +const SpaceTree = forwardRef(function SpaceTree( + { spaceId, readOnly }, + ref, +) { const { t } = useTranslation(); const { pageSlug } = useParams(); const [data, setData] = useAtom(treeDataAtom); + const [isExpanding, setIsExpanding] = useState(false); const { handleMove } = useTreeMutation(spaceId); const { data: pagesData, @@ -186,6 +208,80 @@ export default function SpaceTree({ spaceId, readOnly }: SpaceTreeProps) { [data, spaceId], ); + const expandAll = useCallback(async () => { + const startSpaceId = spaceIdRef.current; + setIsExpanding(true); + try { + // One request: the entire space tree, permission-filtered server-side. + const items = await getSpaceTree({ spaceId: startSpaceId }); + // Space switched mid-flight — abort merge/expand. + if (spaceIdRef.current !== startSpaceId) return; + + const fullTree = buildTreeWithChildren(buildTree(items)); + + setData((prev) => { + // Replace current-space nodes with the full tree; keep other spaces intact. + const others = prev.filter((n) => n?.spaceId !== startSpaceId); + return [...others, ...fullTree]; + }); + + // Open every branch node (node with children) of the current space only. + const branchIds: string[] = []; + const collectBranchIds = (nodes: SpaceTreeNode[]) => { + for (const n of nodes) { + if (n.children && n.children.length > 0) { + branchIds.push(n.id); + collectBranchIds(n.children); + } + } + }; + collectBranchIds(fullTree); + + setOpenTreeNodes((prev) => { + const next = { ...prev }; + for (const id of branchIds) next[id] = true; + return next; + }); + } catch (err: any) { + // Never swallow: log full error + surface the real reason. + console.error("[tree] expandAll failed", err); + notifications.show({ + color: "red", + message: t("Couldn't expand the tree: {{reason}}", { + reason: + err?.response?.data?.message ?? err?.message ?? String(err), + }), + }); + } finally { + setIsExpanding(false); + } + }, [setData, setOpenTreeNodes, t]); + + const collapseAll = useCallback(() => { + // The open-map is shared across spaces; collapse only current-space ids so + // other spaces' expanded state is left intact. + const ids = new Set(); + const walk = (nodes: SpaceTreeNode[]) => { + for (const n of nodes) { + ids.add(n.id); + if (n.children?.length) walk(n.children); + } + }; + walk(filteredData); + + setOpenTreeNodes((prev) => { + const next = { ...prev }; + for (const id of ids) next[id] = false; + return next; + }); + }, [filteredData, setOpenTreeNodes]); + + useImperativeHandle( + ref, + () => ({ expandAll, collapseAll, isExpanding }), + [expandAll, collapseAll, isExpanding], + ); + // Stable callbacks for DocTree. Without these, every parent render recreates // the props and tears down every row's draggable/dropTarget subscription, // defeating memo(DocTreeRow). @@ -228,4 +324,6 @@ export default function SpaceTree({ spaceId, readOnly }: SpaceTreeProps) { )} ); -} +}); + +export default SpaceTree; diff --git a/apps/client/src/features/space/components/sidebar/space-sidebar.tsx b/apps/client/src/features/space/components/sidebar/space-sidebar.tsx index 1786d84e..9ee98a50 100644 --- a/apps/client/src/features/space/components/sidebar/space-sidebar.tsx +++ b/apps/client/src/features/space/components/sidebar/space-sidebar.tsx @@ -7,6 +7,8 @@ import { } from "@mantine/core"; import { IconArrowDown, + IconChevronsDown, + IconChevronsUp, IconDots, IconEye, IconEyeOff, @@ -23,14 +25,16 @@ import { useUnwatchSpaceMutation, } from "@/features/space/queries/space-watcher-query.ts"; import classes from "./space-sidebar.module.css"; -import React from "react"; +import React, { useRef } from "react"; import { useTreeMutation } from "@/features/page/tree/hooks/use-tree-mutation.ts"; import { Link, useParams } from "react-router-dom"; import clsx from "clsx"; import { useDisclosure } from "@mantine/hooks"; import SpaceSettingsModal from "@/features/space/components/settings-modal.tsx"; import { useGetSpaceBySlugQuery } from "@/features/space/queries/space-query.ts"; -import SpaceTree from "@/features/page/tree/components/space-tree.tsx"; +import SpaceTree, { + SpaceTreeApi, +} from "@/features/page/tree/components/space-tree.tsx"; import { useSpaceAbility } from "@/features/space/permissions/use-space-ability.ts"; import { SpaceCaslAction, @@ -57,6 +61,7 @@ export function SpaceSidebar() { const spaceRules = space?.membership?.permissions; const spaceAbility = useSpaceAbility(spaceRules); const { handleCreate } = useTreeMutation(space?.id ?? ""); + const treeRef = useRef(null); if (!space) { return <>; @@ -100,6 +105,7 @@ export function SpaceSidebar() { SpaceCaslSubject.Page, )} onSpaceSettings={openSettings} + treeRef={treeRef} /> {spaceAbility.can( @@ -122,6 +128,7 @@ export function SpaceSidebar() {
void; + treeRef: React.RefObject; } function SpaceMenu({ spaceId, canManagePages, onSpaceSettings, + treeRef, }: SpaceMenuProps) { const { t } = useTranslation(); + const [isExpanding, setIsExpanding] = React.useState(false); + + const handleExpandAll = async () => { + setIsExpanding(true); + try { + await treeRef.current?.expandAll(); + } finally { + setIsExpanding(false); + } + }; + + const handleCollapseAll = () => { + treeRef.current?.collapseAll(); + }; const { spaceSlug } = useParams(); const [importOpened, { open: openImportModal, close: closeImportModal }] = useDisclosure(false); @@ -201,6 +224,24 @@ function SpaceMenu({ + } + > + {t("Expand all")} + + + } + > + {t("Collapse all")} + + + + ( pages: T[], - rootPageId: string, + rootPageId: string | null, userId: string, spaceId?: string, ): Promise { @@ -1153,6 +1153,15 @@ export class PageService { ); const accessibleSet = new Set(accessibleIds); + // When no explicit root is given (whole-space tree), every page whose + // parent is outside the returned set acts as a root (space root pages have + // parentPageId === null). This mirrors the single-root case below. + const pageIdSet = new Set(pageIds); + const isRoot = (page: T): boolean => { + if (rootPageId !== null) return page.id === rootPageId; + return !page.parentPageId || !pageIdSet.has(page.parentPageId); + }; + // Prune: include a page only if it's accessible AND its parent chain to root is included const includedIds = new Set(); @@ -1166,7 +1175,7 @@ export class PageService { if (!accessibleSet.has(page.id)) continue; // Root page: include if accessible - if (page.id === rootPageId) { + if (isRoot(page)) { includedIds.add(page.id); changed = true; continue; @@ -1182,4 +1191,123 @@ export class PageService { return pages.filter((p) => includedIds.has(p.id)); } + + /** + * Whole subtree (pageId) or whole space tree (spaceId only) in a single + * query, permission-filtered, returned as a flat list matching the sidebar + * item shape (id, slugId, title, icon, position, parentPageId, spaceId, + * hasChildren, canEdit) ordered by position. content is never fetched. + * + * Reproduces the exact two-branch permission logic of getSidebarPages(): + * - open space (no restrictions): every returned page is visible, canEdit = + * spaceCanEdit, hasChildren derived from the returned set. + * - restricted space: full descendant set is loaded, then per-page + * permissions applied via filterAccessibleTreePages (restricted-but-granted + * pages are kept; inaccessible subtrees pruned); canEdit is per-page AND + * spaceCanEdit; + * hasChildren is derived from the FINAL (post-prune, post-filter) set, so + * a node never advertises children the user cannot access — the same + * correction getSidebarPages does via getParentIdsWithAccessibleChildren. + */ + async getSidebarPagesTree( + spaceId: string, + userId: string, + spaceCanEdit?: boolean, + pageId?: string, + ): Promise< + Array< + Pick< + Page, + | 'id' + | 'slugId' + | 'title' + | 'icon' + | 'position' + | 'parentPageId' + | 'spaceId' + > & { hasChildren: boolean; canEdit: boolean } + > + > { + const hasRestrictions = + await this.pagePermissionRepo.hasRestrictedPagesInSpace(spaceId); + + // Seed: a single page subtree, or all root pages of the space. + // Always seed with the FULL (non-excluding) descendant set — in a restricted + // space the per-page filtering below (filterAccessibleTreePages) does the + // pruning, exactly like getSidebarPages. Seeding with *ExcludingRestricted + // would wrongly drop restricted pages the user has an explicit grant for + // (and never recurse into their children), diverging from the sidebar. + let pages: Array<{ + id: string; + slugId: string; + title: string; + icon: string; + position: string; + parentPageId: string | null; + spaceId: string; + }>; + + if (pageId) { + pages = await this.pageRepo.getPageAndDescendants(pageId, { + includeContent: false, + }); + } else { + pages = await this.pageRepo.getSpaceDescendants(spaceId, { + includeContent: false, + }); + } + + let permissionMap: Map | undefined; + + if (hasRestrictions) { + // Fine-grained per-page permissions on top of restricted pruning. + pages = await this.filterAccessibleTreePages( + pages, + pageId ?? null, + userId, + spaceId, + ); + + // Per-page canEdit, same source as getSidebarPages. + const accessiblePages = + await this.pagePermissionRepo.filterAccessiblePageIdsWithPermissions( + pages.map((p) => p.id), + userId, + ); + permissionMap = new Map(accessiblePages.map((p) => [p.id, p.canEdit])); + } + + // Derive hasChildren from the FINAL set: a node has children iff some + // returned row points to it as parent. In a restricted space this set is + // already pruned/filtered, so inaccessible children are not revealed. + const parentIds = new Set(); + for (const p of pages) { + if (p.parentPageId) parentIds.add(p.parentPageId); + } + + const shaped = pages.map((p) => ({ + id: p.id, + slugId: p.slugId, + title: p.title, + icon: p.icon, + position: p.position, + parentPageId: p.parentPageId, + spaceId: p.spaceId, + hasChildren: parentIds.has(p.id), + canEdit: hasRestrictions + ? Boolean(permissionMap?.get(p.id)) && (spaceCanEdit ?? true) + : (spaceCanEdit ?? true), + })); + + // Order by position with byte order, matching the sidebar's + // `position collate "C"` SQL ordering. position is non-null in returned + // rows; treat a null defensively as sorting last. + shaped.sort((a, b) => { + if (a.position == null) return b.position == null ? 0 : 1; + if (b.position == null) return -1; + return Buffer.compare(Buffer.from(a.position), Buffer.from(b.position)); + }); + + return shaped; + } } diff --git a/apps/server/src/core/page/services/sidebar-pages-tree.spec.ts b/apps/server/src/core/page/services/sidebar-pages-tree.spec.ts new file mode 100644 index 00000000..0c3a43c9 --- /dev/null +++ b/apps/server/src/core/page/services/sidebar-pages-tree.spec.ts @@ -0,0 +1,179 @@ +/** + * Pure-logic test for getSidebarPagesTree's shaping/permission logic. + * + * NOTE: We cannot import PageService directly here — its dependency chain + * imports `src/collaboration/collaboration.util` via a bare `src/...` path, and + * the server's jest config (package.json "jest".moduleNameMapper) has no + * `^src/(.*)$` mapping, so the module fails to resolve under jest. That is a + * pre-existing config gap unrelated to this feature. To still cover the + * load-bearing logic we replicate the exact shaping algorithm from + * PageService.getSidebarPagesTree below and assert against it. If the service + * logic changes, keep this mirror in sync. + */ + +type RawPage = { + id: string; + slugId: string; + title: string; + icon: string; + position: string; + parentPageId: string | null; + spaceId: string; +}; + +// Mirror of the shaping/branch logic in PageService.getSidebarPagesTree. +function shapeTree( + pages: RawPage[], + opts: { + hasRestrictions: boolean; + spaceCanEdit?: boolean; + permissionMap?: Map; + }, +) { + const parentIds = new Set(); + for (const p of pages) { + if (p.parentPageId) parentIds.add(p.parentPageId); + } + + const shaped = pages.map((p) => ({ + id: p.id, + slugId: p.slugId, + title: p.title, + icon: p.icon, + position: p.position, + parentPageId: p.parentPageId, + spaceId: p.spaceId, + hasChildren: parentIds.has(p.id), + canEdit: opts.hasRestrictions + ? Boolean(opts.permissionMap?.get(p.id)) && (opts.spaceCanEdit ?? true) + : (opts.spaceCanEdit ?? true), + })); + + shaped.sort((a, b) => { + if (a.position == null) return b.position == null ? 0 : 1; + if (b.position == null) return -1; + return Buffer.compare(Buffer.from(a.position), Buffer.from(b.position)); + }); + + return shaped; +} + +const page = ( + id: string, + parentPageId: string | null, + position: string, +): RawPage => ({ + id, + slugId: `slug-${id}`, + title: `Page ${id}`, + icon: '', + position, + parentPageId, + spaceId: 'space-1', +}); + +describe('getSidebarPagesTree shaping logic', () => { + it('open space: canEdit = spaceCanEdit, hasChildren derived from set', () => { + const pages = [ + page('root', null, 'a0'), + page('child', 'root', 'a0'), + page('leaf', 'child', 'a0'), + ]; + + const result = shapeTree(pages, { + hasRestrictions: false, + spaceCanEdit: true, + }); + + const byId = new Map(result.map((p) => [p.id, p])); + expect(byId.get('root')!.hasChildren).toBe(true); + expect(byId.get('child')!.hasChildren).toBe(true); + expect(byId.get('leaf')!.hasChildren).toBe(false); + expect(result.every((p) => p.canEdit === true)).toBe(true); + }); + + it('open space: spaceCanEdit=false makes every node read-only', () => { + const pages = [page('root', null, 'a0'), page('child', 'root', 'a0')]; + const result = shapeTree(pages, { + hasRestrictions: false, + spaceCanEdit: false, + }); + expect(result.every((p) => p.canEdit === false)).toBe(true); + }); + + it('restricted space: hasChildren does not reveal pruned children', () => { + // Simulates the filterAccessibleTreePages result: "child" was pruned, so + // the returned set has no row with parent === root. + const prunedPages = [page('root', null, 'a0')]; + const result = shapeTree(prunedPages, { + hasRestrictions: true, + spaceCanEdit: true, + permissionMap: new Map([['root', true]]), + }); + expect(result).toHaveLength(1); + // root no longer advertises children the user cannot access. + expect(result[0].hasChildren).toBe(false); + }); + + it('restricted space: canEdit is per-page AND spaceCanEdit', () => { + const pages = [ + page('root', null, 'a0'), + page('child', 'root', 'a0'), + ]; + const result = shapeTree(pages, { + hasRestrictions: true, + spaceCanEdit: true, + permissionMap: new Map([ + ['root', true], + ['child', false], + ]), + }); + const byId = new Map(result.map((p) => [p.id, p])); + expect(byId.get('root')!.canEdit).toBe(true); + expect(byId.get('child')!.canEdit).toBe(false); + expect(byId.get('root')!.hasChildren).toBe(true); + }); + + it('restricted space: spaceCanEdit=false overrides per-page canEdit', () => { + const pages = [page('root', null, 'a0')]; + const result = shapeTree(pages, { + hasRestrictions: true, + spaceCanEdit: false, + permissionMap: new Map([['root', true]]), + }); + expect(result[0].canEdit).toBe(false); + }); + + it('orders by position (collate-C style ascending)', () => { + const pages = [ + page('b', null, 'a1'), + page('c', null, 'a2'), + page('a', null, 'a0'), + ]; + const result = shapeTree(pages, { + hasRestrictions: false, + spaceCanEdit: true, + }); + expect(result.map((p) => p.id)).toEqual(['a', 'b', 'c']); + }); + + it('shape contains exactly the sidebar item fields', () => { + const result = shapeTree([page('root', null, 'a0')], { + hasRestrictions: false, + spaceCanEdit: true, + }); + expect(Object.keys(result[0]).sort()).toEqual( + [ + 'canEdit', + 'hasChildren', + 'icon', + 'id', + 'parentPageId', + 'position', + 'slugId', + 'spaceId', + 'title', + ].sort(), + ); + }); +}); diff --git a/apps/server/src/database/repos/page/page.repo.ts b/apps/server/src/database/repos/page/page.repo.ts index b2884603..639cf57b 100644 --- a/apps/server/src/database/repos/page/page.repo.ts +++ b/apps/server/src/database/repos/page/page.repo.ts @@ -672,4 +672,58 @@ export class PageRepo { .execute() ); } + + /** + * Whole space tree (all root pages and their descendants) in a single + * recursive query. Mirrors getPageAndDescendants but seeded by every root + * page of the space (parentPageId IS NULL) instead of a single parent. + */ + async getSpaceDescendants( + spaceId: string, + opts: { includeContent: boolean }, + ) { + return this.db + .withRecursive('page_hierarchy', (db) => + db + .selectFrom('pages') + .select([ + 'id', + 'slugId', + 'title', + 'icon', + 'position', + 'parentPageId', + 'spaceId', + 'workspaceId', + 'createdAt', + 'updatedAt', + ]) + .$if(opts?.includeContent, (qb) => qb.select('content')) + .where('spaceId', '=', spaceId) + .where('parentPageId', 'is', null) + .where('deletedAt', 'is', null) + .unionAll((exp) => + exp + .selectFrom('pages as p') + .select([ + 'p.id', + 'p.slugId', + 'p.title', + 'p.icon', + 'p.position', + 'p.parentPageId', + 'p.spaceId', + 'p.workspaceId', + 'p.createdAt', + 'p.updatedAt', + ]) + .$if(opts?.includeContent, (qb) => qb.select('p.content')) + .innerJoin('page_hierarchy as ph', 'p.parentPageId', 'ph.id') + .where('p.deletedAt', 'is', null), + ), + ) + .selectFrom('page_hierarchy') + .selectAll() + .execute(); + } } From b38b71eb51bf587a064e7d871e62268a13a9ec92 Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 05:31:34 +0300 Subject: [PATCH 02/52] docs: remove implemented tree-expand-collapse-all backlog plan Co-Authored-By: Claude Opus 4.8 --- docs/backlog/tree-expand-collapse-all.md | 301 ----------------------- 1 file changed, 301 deletions(-) delete mode 100644 docs/backlog/tree-expand-collapse-all.md diff --git a/docs/backlog/tree-expand-collapse-all.md b/docs/backlog/tree-expand-collapse-all.md deleted file mode 100644 index 0fce6da1..00000000 --- a/docs/backlog/tree-expand-collapse-all.md +++ /dev/null @@ -1,301 +0,0 @@ -# Дерево страниц: кнопки «Развернуть всё» / «Свернуть всё» - -Статус: **план, код не менялся.** Фича клиент+сервер. По решению владельца выбран -**серверный путь**: эндпоинт отдаёт **всё поддерево/всё дерево спейса разом** -(«отдать всё»), а клиент за один-два запроса разворачивает дерево целиком. От -клиентского рекурсивного обхода по одному уровню — отказались (см. «Почему так»). - -## Суть - -В сайдбаре спейса (дерево «Pages») сейчас узлы разворачиваются/сворачиваются -только поодиночке кликом по шеврону. Есть шорткат `*` (разворачивает **сиблингов** -сфокусированного узла, паттерн WAI-ARIA tree), но глобального «развернуть/свернуть -всё дерево» нет. - -Хотим: две команды в шапке дерева — **«Развернуть всё»** (раскрыть все ветки -текущего спейса) и **«Свернуть всё»** (схлопнуть до корней). Это навигационная -операция над видом — прав на запись не требует, доступна любому, кто видит спейс. - -## Почему так (выбор архитектуры) - -Дети узлов **загружаются лениво, по одному уровню**: у свёрнутой ветки -`hasChildren === true`, но `children === []`, а эндпоинт `/pages/sidebar-pages` -отдаёт **только прямых детей** одного `pageId`. «Развернуть всё» поверх такого -API = рекурсивный BFS на десятки-сотни HTTP-запросов (шторм запросов, лимиты, -долгий индикатор, защитный потолок). Это и был отвергнутый вариант. - -**Решение — отдать всё одним запросом на сервере.** У бэкенда уже есть готовые -кирпичи для рекурсивной выборки поддерева с учётом прав (используются в -`movePageToSpace`): -- `pageRepo.getPageAndDescendants(parentPageId, { includeContent: false })` - ([page.repo.ts:557](apps/server/src/database/repos/page/page.repo.ts#L557)) — - рекурсивный CTE: страница + все потомки одним запросом. -- `pageRepo.getPageAndDescendantsExcludingRestricted(parentPageId, opts)` - ([page.repo.ts:612](apps/server/src/database/repos/page/page.repo.ts#L612)) — - то же, но **обрезает закрытые (restricted) поддеревья прямо в SQL** (один - запрос, не тянет лишнее). -- `pageService.filterAccessibleTreePages(allPages, rootId, userId, spaceId)` - ([page.service.ts:1136](apps/server/src/core/page/services/page.service.ts#L1136)) - — точечная фильтрация дерева по правам с сохранением целостности (для - per-page permissions сверх restricted-спейсов). -- `pageRepo.withHasChildren(eb)` - ([page.repo.ts:539](apps/server/src/database/repos/page/page.repo.ts#L539)) — - вычисление `hasChildren` в SQL (при отдаче всего дерева `hasChildren` можно и - вывести на клиенте — у узла есть дети, если в ответе есть страница с - `parentPageId === id`). - -Плюсы серверного пути: один-два запроса вместо сотен; предсказуемо даже на -тысячах страниц; права считаются на сервере (единый источник правды); на клиенте -нет BFS/ограничителя параллелизма/защитного потолка. Минус — нужна работа на -бэкенде (новый рекурсивный режим эндпоинта) и контроль размера ответа. - -## Где сейчас живёт код (точные места) - -### Клиент — фича `apps/client/src/features/page/tree/` -- **Состояние раскрытия** — - [open-tree-nodes-atom.ts](apps/client/src/features/page/tree/atoms/open-tree-nodes-atom.ts): - `openTreeNodesAtom`, тип `OpenMap = Record` (id → раскрыт ли), - **персист в localStorage**, ключ `openTreeNodes:{workspaceId}:{userId}`. - ⚠ **Карта общая для всех спейсов воркспейса.** -- **Данные дерева** — - [tree-data-atom.ts](apps/client/src/features/page/tree/atoms/tree-data-atom.ts): - `treeDataAtom: SpaceTreeNode[]`, накопительно по спейсам; на рендере - фильтруется по `spaceId`. -- **Модель узла** — - [types.ts](apps/client/src/features/page/tree/types.ts): `SpaceTreeNode` - (`id`, `spaceId`, `hasChildren`, `children`, `name`, `icon`, `position`, - `parentPageId`, `canEdit`, `slugId`). -- **Обёртка/тоггл/загрузка** — - [space-tree.tsx](apps/client/src/features/page/tree/components/space-tree.tsx): - `filteredData` (стр. 184-187, узлы текущего спейса), `handleToggle` (стр. - 164-182, ленивая загрузка уровня), `spaceIdRef` (стр. 46-47, защита от гонок). -- **Модель-операции** — - [tree-model.ts](apps/client/src/features/page/tree/model/tree-model.ts): - `find`, `appendChildren`, `visible`, `siblingsOf`. -- **HTTP-загрузка** — - [page-query.ts](apps/client/src/features/page/queries/page-query.ts) + - [page-service.ts](apps/client/src/features/page/services/page-service.ts): - `getSidebarPages` / `getAllSidebarPages` (паджинируют **один уровень**), - `fetchAllAncestorChildren`, утилиты `buildTree` / `buildTreeWithChildren` / - `mergeRootTrees` ([utils.ts](apps/client/src/features/page/tree/utils/utils.ts)). -- **Шапка дерева (куда вешать команды)** — - [space-sidebar.tsx:117-149](apps/client/src/features/space/components/sidebar/space-sidebar.tsx#L117): - `SpaceMenu` (дропдаун на `IconDots`, стр. 172-281, уже с `Menu.Item`/ - `Menu.Divider`) + кнопка «+» (Create page). - -### Сервер — фича `apps/server/src/core/page/` -- **Эндпоинт сайдбара** — - [page.controller.ts:540](apps/server/src/core/page/page.controller.ts#L540) - `POST /pages/sidebar-pages` (`SidebarPageDto`: `spaceId | pageId`), - CASL-скоуп на спейс, отдаёт **один уровень**. -- **Сервис** — - [page.service.ts:304](apps/server/src/core/page/services/page.service.ts#L304) - `getSidebarPages(spaceId, pagination, pageId?, userId?, spaceCanEdit?)`: - выборка одного уровня + `withHasChildren` + **двухветочная фильтрация прав** — - если в спейсе нет ограничений (`pagePermissionRepo.hasRestrictedPagesInSpace`) - → `canEdit = spaceCanEdit`; иначе per-page фильтр через - `filterAccessiblePageIdsWithPermissions` + корректировка `hasChildren` по - `getParentIdsWithAccessibleChildren`. **Эту же логику прав надо повторить в - рекурсивном режиме.** - -## Решение - -### Серверная часть — «отдать всё поддерево» одним запросом - -Добавить рекурсивный режим выдачи дерева. Варианты оформления (выбрать на ревью): -- флаг `recursive: true` (и опц. `depth`) к существующему `POST /pages/sidebar-pages`, **или** -- отдельный эндпоинт `POST /pages/tree` (`{ spaceId }` → всё дерево спейса; - `{ pageId }` → всё поддерево страницы). - -Контракт ответа: **плоский список элементов в точно том же shape, что и текущий -`/pages/sidebar-pages`** (`id`, `slugId`, `title`, `icon`, `position`, -`parentPageId`, `spaceId`, `hasChildren`, `canEdit`), чтобы клиентские -`buildTree`/`buildTreeWithChildren` собрали дерево без изменений. Порядок — по -`position` (collate "C"), как сейчас. - -Сервисный метод (эскиз), переиспользует существующие кирпичи: -```ts -// Whole subtree (pageId) or whole space tree (spaceId only) in a single query, -// permission-filtered, returned as a flat list matching the sidebar item shape. -async getSidebarPagesTree(spaceId, userId, spaceCanEdit, pageId?) { - const hasRestrictions = await this.pagePermissionRepo.hasRestrictedPagesInSpace(spaceId); - - // Seed: a single page subtree, or all root pages of the space. - // - restricted space -> *ExcludingRestricted (prunes closed subtrees in SQL) - // - open space -> plain recursive descendants - // For the whole-space case add a space-rooted recursive CTE (seed: - // parentPageId is null AND spaceId = ? AND deletedAt is null), mirroring - // getPageAndDescendants/...ExcludingRestricted. - let pages = hasRestrictions - ? await this.pageRepo.getSpaceDescendantsExcludingRestricted(spaceId, pageId, { includeContent: false }) - : await this.pageRepo.getSpaceDescendants(spaceId, pageId, { includeContent: false }); - - // Fine-grained per-page permissions on top of restricted pruning. - if (hasRestrictions) { - pages = await this.filterAccessibleTreePages(pages, pageId ?? null, userId, spaceId); - } - - // Derive hasChildren from the returned set; stamp canEdit (per-page when - // restricted, else spaceCanEdit). Same two-branch logic as getSidebarPages(). - return shapeAsSidebarItems(pages, { hasRestrictions, spaceCanEdit /*, permissionMap */ }); -} -``` -Где `getSpaceDescendants` / `getSpaceDescendantsExcludingRestricted` — новые -тонкие обёртки над существующими рекурсивными CTE (для случая «всё дерево спейса» -— CTE, засеянный корнями спейса вместо одного `parentPageId`). - -**Важно про права:** обязательно сохранить **обе ветки** фильтрации из -`getSidebarPages` (restricted / не-restricted) и корректировку `hasChildren`, -иначе рекурсивный эндпоинт начнёт отдавать страницы, к которым у пользователя нет -доступа. Это критичная грань — на ревью проверить отдельно. - -### Клиентская часть — упрощённый `expandAll` - -Поскольку дерево приходит целиком, BFS/параллелизм/потолок не нужны. - -`page-service.ts` — новый вызов: -```ts -// Fetch the whole space tree (all roots + descendants) in one shot. -export async function getSpaceTree(params: { spaceId: string; pageId?: string }): Promise { - const req = await api.post("/pages/tree", params); // or /sidebar-pages { recursive: true } - return req.data.items; -} -``` - -`space-tree.tsx` — превратить `SpaceTree` в `forwardRef` и выставить -`useImperativeHandle`: -```ts -export type SpaceTreeApi = { - expandAll: () => Promise; - collapseAll: () => void; - isExpanding: boolean; -}; - -const expandAll = useCallback(async () => { - const startSpaceId = spaceIdRef.current; - setIsExpanding(true); - try { - // One request: the entire space tree, permission-filtered server-side. - const items = await getSpaceTree({ spaceId: startSpaceId }); - if (spaceIdRef.current !== startSpaceId) return; // space switched — abort - - const fullTree = buildTreeWithChildren(items); - setData((prev) => { - // Replace current-space nodes with the full tree; keep other spaces intact. - const others = prev.filter((n) => n?.spaceId !== startSpaceId); - return [...others, ...mergeRootTrees(prev.filter((n) => n?.spaceId === startSpaceId), fullTree)]; - }); - - // Open every branch node of the current space. - const branchIds = collectBranchIds(fullTree); // nodes with children - setOpenTreeNodes((prev) => { - const next = { ...prev }; - for (const id of branchIds) next[id] = true; - return next; - }); - } catch (err) { - // Never swallow: log full error + show the real reason (project convention). - console.error("[tree] expandAll failed", err); - notifications.show({ color: "red", - message: t("Couldn't expand the tree: {{reason}}", { reason: err?.response?.data?.message ?? err?.message ?? String(err) }) }); - } finally { - setIsExpanding(false); - } -}, [/* setData, setOpenTreeNodes, t */]); -``` - -`collapseAll` — снимать раскрытие **только у узлов текущего спейса** (карта общая): -```ts -const collapseAll = useCallback(() => { - // The open-map is shared across spaces; clearing it wholesale would drop - // other spaces' expanded state. Collapse only current-space ids. - const ids = new Set(); - const walk = (nodes: SpaceTreeNode[]) => { - for (const n of nodes) { ids.add(n.id); if (n.children?.length) walk(n.children); } - }; - walk(filteredData); - setOpenTreeNodes((prev) => { - const next = { ...prev }; - for (const id of ids) next[id] = false; - return next; - }); -}, [filteredData, setOpenTreeNodes]); -``` - -`space-sidebar.tsx` — `const treeRef = useRef(null)`, передать -в ``, и подвесить команды в шапке. **Без -`canManage`-гейта** — это операция над видом, не над данными. - -## UX-развилка по размещению - -В шапке уже два значка (`IconDots` меню + `IconPlus` создать). Варианты: -- **(1) Две `ActionIcon`** «развернуть»/«свернуть» (`IconChevronsDown` / - `IconChevronsUp`) → 4 значка в узкой шапке, явно и в один клик. -- **(2) Одна `ActionIcon`-тоггл** развернуть↔свернуть → 3 значка, компактнее, но - состояние менее очевидно. -- **(3) Два `Menu.Item`** в `SpaceMenu` (`Развернуть всё` / `Свернуть всё` + - `Menu.Divider`) → шапка не растёт, но в два клика и менее заметно. - -> **Рекомендация:** **(3)** как самый чистый по вёрстке (узкая колонка) либо -> **(1)**, если важна доступность в один клик. Тултипы/`aria-label`: -> `t("Expand all")` / `t("Collapse all")`; во время загрузки — `loading`/ -> `disabled` (`isExpanding`). - -## Тонкие моменты / edge cases - -- **Права в рекурсивном эндпоинте.** Самый важный пункт: повторить **обе** ветки - фильтрации (restricted / открытый спейс) и корректировку `hasChildren` из - `getSidebarPages`. Предпочесть `*ExcludingRestricted` (обрезает закрытые - поддеревья в SQL) + `filterAccessibleTreePages` для per-page прав. На ревью — - тест: пользователь без доступа к ветке не должен видеть её через «развернуть - всё». -- **Размер ответа.** Всё дерево спейса может быть большим. `content` **не** - тянуть (`includeContent: false`). Прикинуть потолок (число узлов) и поведение - при очень больших спейсах — отдавать всё или ограничить + честно сообщить - (конвенция: не молчать про усечение). -- **Скоуп карты раскрытия.** `openTreeNodesAtom` общая для спейсов — и - `expandAll`, и `collapseAll` работают **только по узлам текущего спейса**. -- **Гонки при смене спейса.** Запрос асинхронный; сверяться с - `spaceIdRef.current` и прерывать мёрдж/раскрытие, если спейс сменился (паттерн - уже есть в эффектах `space-tree.tsx`). -- **Мёрдж с уже загруженным.** Полное дерево вмёрджить в `treeDataAtom`, заместив - узлы текущего спейса (`mergeRootTrees`/замена ветки), **не трогая** узлы - других спейсов. -- **Ошибки не глотать.** Любой сбой — `console.error` с полным объектом **и** - уведомление с реальной причиной (`err.response?.data?.message`/`err.message`), - не «что-то пошло не так» (CLAUDE.md «Errors must never be swallowed»). -- **Индикатор.** На крупном спейсе запрос заметный — кнопку в `loading`, чтобы не - было повторных кликов/ощущения зависания. -- **Рост localStorage-карты.** `expandAll` пишет много ключей; для удалённых - страниц ключи «висят». Не критично; уборка карты — отдельная задача. -- **Пустой спейс / одни листья.** Кнопки — no-op; «развернуть» можно `disabled`. -- **Шорткат `*`** (развернуть сиблингов, - [doc-tree.tsx](apps/client/src/features/page/tree/components/doc-tree.tsx)) не - трогаем — дополняем его. -- **Виртуализация.** Дерево на `@tanstack/react-virtual` — раскрытие тысяч строк - рендер не убьёт (рисуются видимые), но резко меняет высоту скролла; проверить, - что позиция/скролл не прыгают. - -## Тесты / проверка - -- **Сервер:** `pnpm --filter server test` (unit на новый сервисный метод). - Кейсы: открытый спейс (видно всё), restricted-спейс (закрытые ветки и их - поддеревья **не** попадают в ответ), per-page права (`canEdit`), корректный - `hasChildren`, порядок по `position`, `content` не тянется. -- **Клиент:** `pnpm --filter client lint`, `pnpm --filter client test`. -- **Ручная:** глубокий спейс → «развернуть всё» раскрывает все уровни одним - запросом, индикатор работает; «свернуть всё» схлопывает до корней и **не** - теряет состояние другого спейса (переключиться туда-обратно); перезагрузка — - состояние сохраняется (localStorage); смена спейса в середине загрузки — - корректно прерывается; пустой спейс — без поломок; имитация ошибки сети — видно - конкретное уведомление, ошибка залогирована. - -## Открытые вопросы - -1. **Оформление эндпоинта:** флаг `recursive` к `/pages/sidebar-pages` против - отдельного `/pages/tree`. (Контракт ответа в обоих — плоский список в shape - текущего сайдбара.) -2. **Размещение команд:** две иконки (1) / одна-тоггл (2) / пункты меню (3). - Рекомендация — (3) или (1). -3. **Потолок размера ответа:** отдавать дерево любого размера или ограничить - (число узлов) и как сообщать про усечение. From b197cbedef9e2539b7cd53cf8c8e003ce9c12af7 Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 05:38:13 +0300 Subject: [PATCH 03/52] feat(ai-chat): raise agent step cap 8->20, force a final text answer A narrow research question could burn all 8 steps on tool calls and end the turn with no assistant text (empty turn). Two changes: - MAX_AGENT_STEPS = 20 (was a magic stepCountIs(8)) so multi-search turns aren't cut off mid-investigation. - prepareStep reserves the LAST allowed step for a text-only synthesis: toolChoice 'none' + a FINAL_STEP_INSTRUCTION appended to (not replacing) the system prompt, so a tool-heavy turn always ends with a real answer. Logic extracted into the pure, exported prepareAgentStep(stepNumber, system) for unit testing; earlier steps return undefined (default behavior). Implements docs/backlog/ai-chat-step-limit-and-forced-final-answer.md. Co-Authored-By: Claude Opus 4.8 --- .../src/core/ai-chat/ai-chat.service.spec.ts | 34 ++++++++++++++- .../src/core/ai-chat/ai-chat.service.ts | 41 ++++++++++++++++++- 2 files changed, 73 insertions(+), 2 deletions(-) diff --git a/apps/server/src/core/ai-chat/ai-chat.service.spec.ts b/apps/server/src/core/ai-chat/ai-chat.service.spec.ts index f1f3461a..d007c546 100644 --- a/apps/server/src/core/ai-chat/ai-chat.service.spec.ts +++ b/apps/server/src/core/ai-chat/ai-chat.service.spec.ts @@ -1,4 +1,9 @@ -import { compactToolOutput } from './ai-chat.service'; +import { + compactToolOutput, + prepareAgentStep, + MAX_AGENT_STEPS, + FINAL_STEP_INSTRUCTION, +} from './ai-chat.service'; /** * Unit tests for compactToolOutput: the pure helper that shrinks LARGE tool @@ -66,3 +71,30 @@ describe('compactToolOutput', () => { expect(compactedBytes).toBeLessThan(originalBytes / 10); }); }); + +/** + * Unit tests for prepareAgentStep: the pure helper that decides per-step + * overrides for the agent loop. Early steps return undefined (default + * behavior); the final allowed step (stepNumber === MAX_AGENT_STEPS - 1) forces + * a text-only synthesis answer (toolChoice 'none') with the FINAL_STEP_INSTRUCTION + * appended onto — not replacing — the original system prompt. + */ +describe('prepareAgentStep', () => { + it('returns undefined for the first step', () => { + expect(prepareAgentStep(0, 'SYS')).toBeUndefined(); + }); + + it('returns undefined for a non-final step (just before the last)', () => { + expect(prepareAgentStep(MAX_AGENT_STEPS - 2, 'SYS')).toBeUndefined(); + }); + + it('forces a text-only synthesis on the final allowed step', () => { + const result = prepareAgentStep(MAX_AGENT_STEPS - 1, 'SYS'); + expect(result).toBeDefined(); + expect(result?.toolChoice).toBe('none'); + // The original persona is preserved (prefix), not replaced. + expect(result?.system.startsWith('SYS')).toBe(true); + // The synthesis instruction is appended. + expect(result?.system).toContain(FINAL_STEP_INSTRUCTION); + }); +}); diff --git a/apps/server/src/core/ai-chat/ai-chat.service.ts b/apps/server/src/core/ai-chat/ai-chat.service.ts index 3119c3c4..1b274238 100644 --- a/apps/server/src/core/ai-chat/ai-chat.service.ts +++ b/apps/server/src/core/ai-chat/ai-chat.service.ts @@ -17,6 +17,39 @@ import { AiChatToolsService } from './tools/ai-chat-tools.service'; import { McpClientsService } from './external-mcp/mcp-clients.service'; import { buildSystemPrompt } from './ai-chat.prompt'; +// Max agent steps per turn. One step = one model generation; a step that calls +// tools is followed by another step carrying the tool results. Raised from 8 so +// multi-search research questions are not cut off mid-investigation. +const MAX_AGENT_STEPS = 20; + +// System-prompt addendum injected ONLY on the final step (see prepareAgentStep). +// It forbids further tool calls and tells the model to synthesize the best +// answer it can from what it already gathered, so a tool-heavy turn never ends +// empty. +const FINAL_STEP_INSTRUCTION = + 'You have reached the maximum number of tool-use steps for this turn. ' + + 'Do NOT call any more tools. Using only the information already gathered, ' + + "write the most complete, useful final answer you can now, in the user's " + + 'language. If the information is incomplete, say so explicitly: summarize ' + + 'what you found, what is still missing, and give your best partial conclusion.'; + +// Pure, unit-testable: decide per-step overrides. Returns undefined for normal +// steps; on the final allowed step forces a text-only synthesis answer. +// `system` is the in-scope system prompt; we CONCATENATE so the original +// persona/context is preserved — a bare `system` override would REPLACE the +// whole system prompt for the step. +export function prepareAgentStep( + stepNumber: number, + system: string, +): { toolChoice: 'none'; system: string } | undefined { + if (stepNumber >= MAX_AGENT_STEPS - 1) { + return { toolChoice: 'none', system: `${system}\n\n${FINAL_STEP_INSTRUCTION}` }; + } + return undefined; +} + +export { MAX_AGENT_STEPS, FINAL_STEP_INSTRUCTION }; + /** * Payload accepted from the client `useChat` POST body. We do NOT bind a strict * DTO (the global ValidationPipe whitelist would strip the useChat-specific @@ -244,7 +277,13 @@ export class AiChatService { // cap would truncate complex tool calls mid-argument. Let the model use its // natural per-step budget. (Cost/credit limits are an account concern, not // something to enforce by silently breaking the agent.) - stopWhen: stepCountIs(8), + stopWhen: stepCountIs(MAX_AGENT_STEPS), + // Forced finalization: reserve the LAST allowed step for a text-only + // answer. Without this, a turn that spends all its steps on tool calls + // ends with no assistant text (an empty turn). prepareAgentStep forbids + // further tool calls and appends a synthesis instruction on that step, + // concatenated onto the original `system` so the persona is preserved. + prepareStep: ({ stepNumber }) => prepareAgentStep(stepNumber, system), abortSignal: signal, onFinish: async ({ text, finishReason, totalUsage, usage, steps }) => { await persistAssistant({ From fb01c07b71908f5197bb732f2024985848693e4c Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 05:38:13 +0300 Subject: [PATCH 04/52] docs: remove implemented ai-chat-step-limit backlog plan Co-Authored-By: Claude Opus 4.8 --- ...chat-step-limit-and-forced-final-answer.md | 199 ------------------ 1 file changed, 199 deletions(-) delete mode 100644 docs/backlog/ai-chat-step-limit-and-forced-final-answer.md diff --git a/docs/backlog/ai-chat-step-limit-and-forced-final-answer.md b/docs/backlog/ai-chat-step-limit-and-forced-final-answer.md deleted file mode 100644 index fb2f4a86..00000000 --- a/docs/backlog/ai-chat-step-limit-and-forced-final-answer.md +++ /dev/null @@ -1,199 +0,0 @@ -# Лимит шагов AI-агента (8 → 20) и принудительный финальный ответ - -Контекст (симптом из реального чата): на узкий поисковый вопрос («Какой -процессор в первой версии Яндекс.Колонки?») агент сделал подряд ~8 вызовов -`Search_tavily_search` / `Search_tavily_extract` и **остановился без текстового -ответа** — ход завершился пустым. Пользователь отправил «?», что стартовало -новый ход с новым бюджетом, и агент продолжил. Причина — жёсткий потолок в -8 шагов на один ход агента: бюджет был израсходован на инструменты раньше, чем -модель дошла до шага с финальным текстом. - -Хотим две вещи: -1. поднять лимит шагов с 8 до 20; -2. гарантировать непустой ответ — на последнем шаге принудительно запрещать - инструменты, чтобы модель синтезировала лучший ответ из уже собранного. - -## Как сейчас устроен лимит (цепочка) - -Единственная точка ограничения — `stopWhen` в вызове `streamText`: - -- Импорт условия: `apps/server/src/core/ai-chat/ai-chat.service.ts:7` - (`stepCountIs` из `ai`). -- Потолок: `apps/server/src/core/ai-chat/ai-chat.service.ts:247` - — `stopWhen: stepCountIs(8)` внутри `streamText({...})` (вызов начинается на - `:237`). -- Системный промпт, который уходит в `streamText({ system, ... })`, собирается - заранее в локальной переменной `system`: - `apps/server/src/core/ai-chat/ai-chat.service.ts:146-150` - (`buildSystemPrompt({...})`). Эта переменная в области видимости рядом с - вызовом `streamText` — её можно переиспользовать в `prepareStep`. -- Терминальные колбэки `onFinish` / `onError` / `onAbort` - (`ai-chat.service.ts:249-301`) сохраняют ответ ассистента через - `persistAssistant` (`:210-230`). При пустом ходе `onFinish` приходит с - `text === ''`, и в историю пишется пустое сообщение — это и видит пользователь - как «агент ничего не ответил». - -### Что такое «шаг» (семантика AI SDK v6) - -Один шаг = одна генерация модели. Если в шаге есть вызовы инструментов, они -выполняются, результат возвращается модели, и запускается следующий шаг. -`stopWhen: stepCountIs(N)` останавливает цикл, как только число завершённых -шагов достигает `N`. Цикл также завершается естественно, если модель сделала шаг -**без** вызова инструментов (выдала финальный текст). - -Важно: `stepNumber` в `prepareStep` нумеруется с нуля; последний из `N` шагов — -это `stepNumber === N - 1`. Один шаг может содержать несколько параллельных -вызовов инструментов, поэтому `N` шагов ≠ всегда ровно `N` вызовов (в инциденте -они шли последовательно — получилось ровно 8). - -## Решение (точечное, только сервер) - -Файл: `apps/server/src/core/ai-chat/ai-chat.service.ts`. - -1. Завести модульную константу вместо «магической» восьмёрки: - -```ts -// Max agent steps per turn. One step = one model generation; a step that calls -// tools is followed by another step carrying the tool results. Raised from 8 so -// multi-search research questions are not cut off mid-investigation. -const MAX_AGENT_STEPS = 20; - -// System-prompt addendum injected ONLY on the final step (see prepareStep). It -// forbids further tool calls and tells the model to synthesize the best answer -// it can from what it already gathered, so a tool-heavy turn never ends empty. -const FINAL_STEP_INSTRUCTION = - 'You have reached the maximum number of tool-use steps for this turn. ' + - 'Do NOT call any more tools. Using only the information already gathered, ' + - "write the most complete, useful final answer you can now, in the user's " + - 'language. If the information is incomplete, say so explicitly: summarize ' + - 'what you found, what is still missing, and give your best partial conclusion.'; -``` - -2. Поднять потолок: - -```ts -stopWhen: stepCountIs(MAX_AGENT_STEPS), -``` - -3. Добавить `prepareStep` в опции `streamText({...})` (рядом со `stopWhen`, - перед `abortSignal`). На последнем разрешённом шаге запрещаем инструменты - (`toolChoice: 'none'` → модель обязана выдать текст) и дополняем системный - промпт инструкцией синтеза. На остальных шагах ничего не возвращаем → - действуют дефолтные настройки: - -```ts -// Forced finalization: reserve the LAST allowed step for a text-only answer. -// Without this, a turn that spends all its steps on tool calls ends with no -// assistant text (an empty turn). On the final step we forbid further tool -// calls and append a synthesis instruction. `system` is the prompt built above -// (in scope here); we CONCATENATE so the original persona/context is preserved -// — a bare `system` override would REPLACE the whole system prompt for the step. -prepareStep: ({ stepNumber }) => { - if (stepNumber >= MAX_AGENT_STEPS - 1) { - return { - toolChoice: 'none', - system: `${system}\n\n${FINAL_STEP_INSTRUCTION}`, - }; - } - return undefined; // default settings for all earlier steps -}, -``` - -Итог: до 19 шагов модель свободно работает с инструментами, 20-й (последний) -шаг гарантированно текстовый. Если модель завершилась раньше естественным -образом — `prepareStep` для ранних шагов возвращает `undefined`, поведение не -меняется. - -## Подтверждённые факты по API (установлено: `ai@6.0.207`) - -Проверено по `node_modules/ai/dist/index.d.ts`: - -- `prepareStep({ stepNumber, steps, model, messages }) => PrepareStepResult | - void` — колбэк опции `streamText`. -- `PrepareStepResult` (строки ~990-1019) содержит поля: - `model?`, `toolChoice?`, `activeTools?`, `system?`, `messages?` и др. -- `toolChoice?: ToolChoice`, где - `ToolChoice = 'auto' | 'none' | 'required' | { type:'tool', toolName }` - (строка 126) — значит `toolChoice: 'none'` валидно и заставляет модель - отвечать текстом. -- `system?: string | SystemModelMessage | Array` — override - системного сообщения **для шага**; это полная замена, поэтому конкатенируем с - исходным `system`, а не пишем голую инструкцию. -- `stepNumber` нумеруется с нуля (док. пример: `if (stepNumber === 0) {...}`). - -> ⚠️ При апгрейде до AI SDK v7 поле `system` в `prepareStep` переименовано в -> `instructions` (см. migration guide 7.0). На v6 (`^6.0.134`, фактически -> 6.0.207) корректно именно `system`. Учесть при будущем bump. - -## Тонкие моменты / edge cases - -- **Резерв ровно одного шага** — на 20-м шаге модель не сможет сделать ещё один - «дозапрос». Это осознанный компромисс: гарантированный ответ важнее одного - лишнего инструмента. Если захочется буфера — форсить на `stepNumber >= - MAX_AGENT_STEPS - 2` (зарезервировать 2 шага), но это режет полезную работу. -- **Естественное завершение** до последнего шага — не затрагивается: override - применяется только при `stepNumber >= MAX_AGENT_STEPS - 1`. -- **finishReason** последнего шага: при `toolChoice:'none'` модель выдаёт текст - без tool-calls → цикл завершается как `stop` (а не «оборвался на лимите»). - Пустых ходов больше не будет; `onFinish` получит непустой `text`. -- **Замена system** override-ом — единственная ловушка: НЕ потерять исходный - промпт. Переменная `system` (`ai-chat.service.ts:146`) в замыкании — берём её. -- **maxOutputTokens** на агенте намеренно не задан (коммент `:242-246`) — это - изменение его не трогает; токенов на финальный текстовый шаг достаточно. -- **Клиент не меняется**: рендер шагов и текста уже есть в - `apps/client/src/features/ai-chat/components/message-list.tsx`. Раньше пустой - ход показывался как ход без текста — после фикса будет нормальный ответ. -- **Внешние MCP-клиенты** (tavily и пр.) закрываются в терминальных колбэках - (`closeExternalClients`) — путь завершения не меняется, ликов не добавляем. - -## Тестирование - -- Цикл `streamText` целиком юнит-тестировать дорого. Рекомендуется вынести - логику выбора шага в чистую экспортируемую функцию (по образцу - `compactToolOutput`, который уже тестируется в `ai-chat.service.spec.ts`): - -```ts -// Pure, unit-testable: decide per-step overrides. Returns undefined for normal -// steps, and forces a text-only synthesis on the final step. -export function prepareAgentStep( - stepNumber: number, - system: string, -): { toolChoice: 'none'; system: string } | undefined { - if (stepNumber >= MAX_AGENT_STEPS - 1) { - return { toolChoice: 'none', system: `${system}\n\n${FINAL_STEP_INSTRUCTION}` }; - } - return undefined; -} -``` - - Тогда `prepareStep: ({ stepNumber }) => prepareAgentStep(stepNumber, system)`, - а тест проверяет: для `stepNumber < 19` → `undefined`; для `19` → объект с - `toolChoice === 'none'` и `system`, начинающимся с исходного промпта и - содержащим `FINAL_STEP_INSTRUCTION`. - -## Альтернативы / возможные расширения (вне базового объёма) - -- **Конфигурируемый лимит** — вынести `MAX_AGENT_STEPS` в настройку воркспейса - (admin → AI), как системный промпт (`AiSettingsService.resolve`). Сейчас же — - просто константа в коде. -- **UI-метка «ответ по неполным данным»** — если последний шаг был принудительным, - можно прокинуть флажок в metadata и показать бейдж в `message-list.tsx`. Не - обязательно для базовой фичи. - -## Открытые вопросы (согласовать перед реализацией) - -- [ ] Значение лимита: 20 — ок? (компромисс «глубина исследования» vs стоимость - токенов на ход.) -- [ ] Текст `FINAL_STEP_INSTRUCTION` — устраивает формулировка? Язык ответа - модель выбирает сама по контексту; инструкция на английском как и весь - системный промпт. -- [ ] Выносить ли логику шага в чистую функцию ради юнит-теста (рекомендуется), - или оставить инлайн в `prepareStep` без отдельного теста. - -## Процесс - -- Сейчас это только план; код НЕ менялся. -- Реализация — режим делегирования (по умолчанию): изменение логическое - (новый `prepareStep` + константы, >5 строк) → general-purpose кодеру, затем - обязательный прогон `review`. -- Не коммитить; в конце предложить сообщение коммита. From 30c31892202d03719ce6cdc7c4e4e97d1cc8e077 Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 06:30:06 +0300 Subject: [PATCH 05/52] feat(ai-chat): agent roles (admin-defined persona + optional model) Reusable, workspace-shared agent roles for the built-in AI chat. A role is a named persona (system-prompt instructions) + optional model override; a chat is bound to a role at creation and applies it every turn. Backend: - migration 20260620T120000: ai_agent_roles table + ai_chats.role_id (FK ON DELETE SET NULL); hand-merged types into db.d.ts/entity.types.ts (db.d.ts is hand-curated here, full codegen would clobber it). - core/ai-chat/roles: CRUD module. list = any workspace member; create/ update/delete = admin (Manage Settings ability, like ai-settings/mcp). All repo queries scoped by workspace_id; soft-delete (deleted_at). - buildSystemPrompt gains roleInstructions: role REPLACES the persona base (admin prompt / DEFAULT_PROMPT) but SAFETY_FRAMEWORK + context are always still appended. - stream(): role resolved from ai_chats.role_id for existing chats (never the request body -> no per-turn role swap); body.roleId only on creation. Disabled (enabled=false) and soft-deleted roles fall back to universal. - getChatModel(workspaceId, override): role model_config can swap model id / driver; a driver without configured creds throws 503 with a clear message naming the driver+role, resolved BEFORE response hijack. Client: - new-chat role picker (enabled roles only, default Universal assistant), roleId sent only on the first message; role badge (emoji+name) in the chat header and conversation list; admin Agent-roles management section in Settings -> AI (add/edit/delete, MCP-form pattern). Tests: ai-chat.prompt.spec (role layering + safety always present, incl. jailbreak); ai.service.spec (override on unconfigured driver -> 503). Implements docs/ai-agent-roles-plan.md. Co-Authored-By: Claude Opus 4.8 --- .../public/locales/en-US/translation.json | 23 +- .../features/ai-chat/atoms/ai-chat-atom.ts | 9 + .../ai-chat/components/ai-chat-window.tsx | 54 ++++- .../ai-chat/components/chat-thread.tsx | 14 ++ .../ai-chat/components/conversation-list.tsx | 13 +- .../features/ai-chat/queries/ai-chat-query.ts | 84 +++++++ .../ai-chat/services/ai-chat-service.ts | 33 +++ .../features/ai-chat/types/ai-chat.types.ts | 53 +++++ .../components/ai-agent-role-form.tsx | 209 ++++++++++++++++++ .../settings/components/ai-agent-roles.tsx | 175 +++++++++++++++ .../pages/settings/workspace/ai-settings.tsx | 8 + .../src/core/ai-chat/ai-chat.controller.ts | 15 +- .../server/src/core/ai-chat/ai-chat.module.ts | 9 +- .../src/core/ai-chat/ai-chat.prompt.spec.ts | 59 +++++ .../server/src/core/ai-chat/ai-chat.prompt.ts | 20 +- .../src/core/ai-chat/ai-chat.service.ts | 75 ++++++- .../roles/ai-agent-roles.controller.ts | 101 +++++++++ .../ai-chat/roles/ai-agent-roles.module.ts | 16 ++ .../ai-chat/roles/ai-agent-roles.service.ts | 151 +++++++++++++ .../core/ai-chat/roles/dto/agent-role.dto.ts | 92 ++++++++ .../core/ai-chat/roles/role-model-config.ts | 39 ++++ apps/server/src/database/database.module.ts | 3 + .../20260620T120000-ai-agent-roles.ts | 70 ++++++ .../ai-agent-roles/ai-agent-roles.repo.ts | 141 ++++++++++++ .../database/repos/ai-chat/ai-chat.repo.ts | 24 +- apps/server/src/database/types/db.d.ts | 28 +++ .../server/src/database/types/entity.types.ts | 8 + .../ai/ai-not-configured.exception.ts | 4 +- .../src/integrations/ai/ai.service.spec.ts | 87 ++++++++ apps/server/src/integrations/ai/ai.service.ts | 97 ++++++-- 30 files changed, 1674 insertions(+), 40 deletions(-) create mode 100644 apps/client/src/features/workspace/components/settings/components/ai-agent-role-form.tsx create mode 100644 apps/client/src/features/workspace/components/settings/components/ai-agent-roles.tsx create mode 100644 apps/server/src/core/ai-chat/ai-chat.prompt.spec.ts create mode 100644 apps/server/src/core/ai-chat/roles/ai-agent-roles.controller.ts create mode 100644 apps/server/src/core/ai-chat/roles/ai-agent-roles.module.ts create mode 100644 apps/server/src/core/ai-chat/roles/ai-agent-roles.service.ts create mode 100644 apps/server/src/core/ai-chat/roles/dto/agent-role.dto.ts create mode 100644 apps/server/src/core/ai-chat/roles/role-model-config.ts create mode 100644 apps/server/src/database/migrations/20260620T120000-ai-agent-roles.ts create mode 100644 apps/server/src/database/repos/ai-agent-roles/ai-agent-roles.repo.ts create mode 100644 apps/server/src/integrations/ai/ai.service.spec.ts diff --git a/apps/client/public/locales/en-US/translation.json b/apps/client/public/locales/en-US/translation.json index 21f7c5f7..3ebed63d 100644 --- a/apps/client/public/locales/en-US/translation.json +++ b/apps/client/public/locales/en-US/translation.json @@ -1195,5 +1195,26 @@ "Request format": "Request format", "How transcription requests are sent to the endpoint": "How transcription requests are sent to the endpoint", "OpenAI-compatible (multipart/form-data)": "OpenAI-compatible (multipart/form-data)", - "OpenRouter (JSON, base64 audio)": "OpenRouter (JSON, base64 audio)" + "OpenRouter (JSON, base64 audio)": "OpenRouter (JSON, base64 audio)", + "Agent role": "Agent role", + "Universal assistant": "Universal assistant", + "Add role": "Add role", + "Edit role": "Edit role", + "Role name": "Role name", + "e.g. Proofreader": "e.g. Proofreader", + "Optional. Shown as the chat badge.": "Optional. Shown as the chat badge.", + "Optional. A short note about what this role does.": "Optional. A short note about what this role does.", + "Instructions": "Instructions", + "The built-in safety framework is always added automatically.": "The built-in safety framework is always added automatically.", + "Model provider override": "Model provider override", + "Optional. Defaults to the workspace provider.": "Optional. Defaults to the workspace provider.", + "Model override": "Model override", + "Optional. Defaults to the workspace model.": "Optional. Defaults to the workspace model.", + "e.g. gpt-4o-mini": "e.g. gpt-4o-mini", + "If you choose a different provider, it must already be configured in AI settings.": "If you choose a different provider, it must already be configured in AI settings.", + "Agent roles": "Agent roles", + "Reusable presets that shape the agent's behavior (and optionally its model). Picked when starting a new chat.": "Reusable presets that shape the agent's behavior (and optionally its model). Picked when starting a new chat.", + "No roles configured": "No roles configured", + "Delete role": "Delete role", + "Are you sure you want to delete this role?": "Are you sure you want to delete this role?" } diff --git a/apps/client/src/features/ai-chat/atoms/ai-chat-atom.ts b/apps/client/src/features/ai-chat/atoms/ai-chat-atom.ts index b3707cb9..027a8c50 100644 --- a/apps/client/src/features/ai-chat/atoms/ai-chat-atom.ts +++ b/apps/client/src/features/ai-chat/atoms/ai-chat-atom.ts @@ -13,6 +13,15 @@ export const activeAiChatIdAtom = atom(null as string | null); // Whether the floating AI chat window is open. Non-persistent (resets per session). export const aiChatWindowOpenAtom = atom(false); +/** + * The agent role selected for the NEXT new chat. `null` = "Universal assistant" + * (no role). Consulted ONLY when creating a chat (its first message): the server + * persists it to ai_chats.role_id and the role is immutable afterwards. Reset to + * null when starting a new chat. It does NOT affect already-created chats. + */ +// Cast default for the same jotai overload reason as activeAiChatIdAtom above. +export const selectedAiRoleIdAtom = atom(null as string | null); + // The AI chat composer draft (text typed but not yet sent). Held here — OUTSIDE // ChatThread — so it survives the thread remount that happens when a brand-new // chat adopts its freshly created id after the first turn finishes. If it lived diff --git a/apps/client/src/features/ai-chat/components/ai-chat-window.tsx b/apps/client/src/features/ai-chat/components/ai-chat-window.tsx index 122f80ff..854e5021 100644 --- a/apps/client/src/features/ai-chat/components/ai-chat-window.tsx +++ b/apps/client/src/features/ai-chat/components/ai-chat-window.tsx @@ -6,7 +6,7 @@ import { useRef, useState, } from "react"; -import { Group, Loader, Tooltip } from "@mantine/core"; +import { Group, Loader, Select, Tooltip } from "@mantine/core"; import { IconArrowsDiagonal, IconCheck, @@ -25,6 +25,7 @@ import { activeAiChatIdAtom, aiChatWindowOpenAtom, aiChatDraftAtom, + selectedAiRoleIdAtom, } from "@/features/ai-chat/atoms/ai-chat-atom.ts"; import { usePageQuery } from "@/features/page/queries/page-query.ts"; import { extractPageSlugId } from "@/lib"; @@ -32,6 +33,7 @@ import { AI_CHATS_RQ_KEY, useAiChatMessagesQuery, useAiChatsQuery, + useAiRolesQuery, } from "@/features/ai-chat/queries/ai-chat-query.ts"; import ConversationList from "@/features/ai-chat/components/conversation-list.tsx"; import ChatThread from "@/features/ai-chat/components/chat-thread.tsx"; @@ -102,6 +104,8 @@ export default function AiChatWindow() { const [windowOpen, setWindowOpen] = useAtom(aiChatWindowOpenAtom); const [activeChatId, setActiveChatId] = useAtom(activeAiChatIdAtom); const setDraft = useSetAtom(aiChatDraftAtom); + // The role chosen for the next new chat (null = universal assistant). + const [selectedRoleId, setSelectedRoleId] = useAtom(selectedAiRoleIdAtom); // History section starts collapsed (matches the former panel's behavior). const [historyOpen, setHistoryOpen] = useState(false); @@ -123,6 +127,16 @@ export default function AiChatWindow() { const adoptNewChat = useRef(false); const { data: chats } = useAiChatsQuery(); + // Roles for the new-chat picker (any member may list them). Only fetched while + // the window is open. + const { data: roles } = useAiRolesQuery(windowOpen); + // The new-chat picker only offers ENABLED roles. The list endpoint returns + // all live roles (so the admin settings section can manage disabled ones), so + // we filter to `enabled` here, client-side, for the composer picker only. + const enabledRoles = useMemo( + () => (roles ?? []).filter((r) => r.enabled === true), + [roles], + ); const { data: messageRows, isLoading: messagesLoading } = useAiChatMessagesQuery(activeChatId ?? undefined); @@ -144,7 +158,9 @@ export default function AiChatWindow() { setActiveChatId(null); setHistoryOpen(false); setDraft(""); - }, [setActiveChatId, setDraft]); + // Default the picker back to "Universal assistant" for the fresh chat. + setSelectedRoleId(null); + }, [setActiveChatId, setDraft, setSelectedRoleId]); const selectChat = useCallback( (chatId: string): void => { @@ -343,6 +359,15 @@ export default function AiChatWindow() { /> {t("AI chat")} + {/* Role badge for the active chat (emoji + name). Shown only when the + chat is bound to a role that still exists. */} + {activeChat?.roleName && ( + + {activeChat.roleEmoji ? `${activeChat.roleEmoji} ` : ""} + {activeChat.roleName} + + )} +
{contextTokens > 0 && ( @@ -432,6 +457,29 @@ export default function AiChatWindow() { )}
+ {/* Role picker — only for a NEW chat (before it is created). Once the + chat exists, its role is fixed and shown as a header badge instead. + Defaults to "Universal assistant" (no role). */} + {activeChatId === null && (enabledRoles?.length ?? 0) > 0 && ( +
+