From b81819ef6388c0885ca3460f9f9737e7dd90f430 Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 05:31:34 +0300 Subject: [PATCH 01/14] feat(tree): Expand all / Collapse all for the space page tree Adds a server-authoritative whole-tree endpoint and sidebar menu commands so a deep space tree can be expanded in one request instead of a per-level BFS storm. Server: - POST /pages/tree (SidebarPageTreeDto: spaceId | pageId), same CASL space scoping as /sidebar-pages. Returns the whole space tree / subtree as a flat list in the sidebar item shape (id, slugId, title, icon, position, parentPageId, spaceId, hasChildren, canEdit), ordered by position (collate C byte order), content never fetched. - page.service.getSidebarPagesTree reproduces getSidebarPages' two-branch permission model: open space -> spaceCanEdit; restricted space -> seed the full descendant set then prune via filterAccessibleTreePages + filterAccessiblePageIdsWithPermissions (keeps restricted-but-granted pages, prunes inaccessible subtrees). hasChildren is derived from the final filtered set so it can never reveal inaccessible children. - page.repo.getSpaceDescendants: recursive CTE seeded by space roots. Client: - SpaceTree is forwardRef exposing expandAll/collapseAll/isExpanding; expandAll fetches the whole tree once, replaces current-space nodes, opens every branch (current space only), aborts on space switch, surfaces real errors; collapseAll collapses only current-space ids (shared open-map). - SpaceMenu gains Expand all / Collapse all items (no admin gate). Implements docs/backlog/tree-expand-collapse-all.md. Co-Authored-By: Claude Opus 4.8 --- .../public/locales/en-US/translation.json | 3 + .../features/page/services/page-service.ts | 8 + .../page/tree/components/space-tree.tsx | 106 ++++++++++- .../components/sidebar/space-sidebar.tsx | 45 ++++- .../src/core/page/dto/sidebar-page.dto.ts | 10 + apps/server/src/core/page/page.controller.ts | 45 ++++- .../src/core/page/services/page.service.ts | 132 ++++++++++++- .../page/services/sidebar-pages-tree.spec.ts | 179 ++++++++++++++++++ .../src/database/repos/page/page.repo.ts | 54 ++++++ 9 files changed, 573 insertions(+), 9 deletions(-) create mode 100644 apps/server/src/core/page/services/sidebar-pages-tree.spec.ts diff --git a/apps/client/public/locales/en-US/translation.json b/apps/client/public/locales/en-US/translation.json index 21f7c5f7..c2c8255e 100644 --- a/apps/client/public/locales/en-US/translation.json +++ b/apps/client/public/locales/en-US/translation.json @@ -977,6 +977,9 @@ "Page menu": "Page menu", "Expand": "Expand", "Collapse": "Collapse", + "Expand all": "Expand all", + "Collapse all": "Collapse all", + "Couldn't expand the tree: {{reason}}": "Couldn't expand the tree: {{reason}}", "Comment menu": "Comment menu", "Group menu": "Group menu", "Show hidden breadcrumbs": "Show hidden breadcrumbs", diff --git a/apps/client/src/features/page/services/page-service.ts b/apps/client/src/features/page/services/page-service.ts index 146da7dd..6434ec7c 100644 --- a/apps/client/src/features/page/services/page-service.ts +++ b/apps/client/src/features/page/services/page-service.ts @@ -92,6 +92,14 @@ export async function getAllSidebarPages( }; } +export async function getSpaceTree(params: { + spaceId: string; + pageId?: string; +}): Promise { + const req = await api.post("/pages/tree", params); + return req.data.items; +} + export async function getPageBreadcrumbs( pageId: string, ): Promise> { diff --git a/apps/client/src/features/page/tree/components/space-tree.tsx b/apps/client/src/features/page/tree/components/space-tree.tsx index 1c3aab8e..e3e339c9 100644 --- a/apps/client/src/features/page/tree/components/space-tree.tsx +++ b/apps/client/src/features/page/tree/components/space-tree.tsx @@ -1,8 +1,17 @@ import { useAtom } from "jotai"; -import { useCallback, useEffect, useMemo, useRef, useState } from "react"; +import { + forwardRef, + useCallback, + useEffect, + useImperativeHandle, + useMemo, + useRef, + useState, +} from "react"; import { useParams } from "react-router-dom"; import { useTranslation } from "react-i18next"; import { Text } from "@mantine/core"; +import { notifications } from "@mantine/notifications"; import { fetchAllAncestorChildren, useGetRootSidebarPagesQuery, @@ -19,7 +28,10 @@ import { } from "@/features/page/tree/utils/utils.ts"; import { SpaceTreeNode } from "@/features/page/tree/types.ts"; import { treeModel } from "@/features/page/tree/model/tree-model"; -import { getPageBreadcrumbs } from "@/features/page/services/page-service.ts"; +import { + getPageBreadcrumbs, + getSpaceTree, +} from "@/features/page/services/page-service.ts"; import { IPage } from "@/features/page/types/page.types.ts"; import { extractPageSlugId } from "@/lib"; import { DocTree } from "./doc-tree"; @@ -30,10 +42,20 @@ interface SpaceTreeProps { readOnly: boolean; } -export default function SpaceTree({ spaceId, readOnly }: SpaceTreeProps) { +export type SpaceTreeApi = { + expandAll: () => Promise; + collapseAll: () => void; + isExpanding: boolean; +}; + +const SpaceTree = forwardRef(function SpaceTree( + { spaceId, readOnly }, + ref, +) { const { t } = useTranslation(); const { pageSlug } = useParams(); const [data, setData] = useAtom(treeDataAtom); + const [isExpanding, setIsExpanding] = useState(false); const { handleMove } = useTreeMutation(spaceId); const { data: pagesData, @@ -186,6 +208,80 @@ export default function SpaceTree({ spaceId, readOnly }: SpaceTreeProps) { [data, spaceId], ); + const expandAll = useCallback(async () => { + const startSpaceId = spaceIdRef.current; + setIsExpanding(true); + try { + // One request: the entire space tree, permission-filtered server-side. + const items = await getSpaceTree({ spaceId: startSpaceId }); + // Space switched mid-flight — abort merge/expand. + if (spaceIdRef.current !== startSpaceId) return; + + const fullTree = buildTreeWithChildren(buildTree(items)); + + setData((prev) => { + // Replace current-space nodes with the full tree; keep other spaces intact. + const others = prev.filter((n) => n?.spaceId !== startSpaceId); + return [...others, ...fullTree]; + }); + + // Open every branch node (node with children) of the current space only. + const branchIds: string[] = []; + const collectBranchIds = (nodes: SpaceTreeNode[]) => { + for (const n of nodes) { + if (n.children && n.children.length > 0) { + branchIds.push(n.id); + collectBranchIds(n.children); + } + } + }; + collectBranchIds(fullTree); + + setOpenTreeNodes((prev) => { + const next = { ...prev }; + for (const id of branchIds) next[id] = true; + return next; + }); + } catch (err: any) { + // Never swallow: log full error + surface the real reason. + console.error("[tree] expandAll failed", err); + notifications.show({ + color: "red", + message: t("Couldn't expand the tree: {{reason}}", { + reason: + err?.response?.data?.message ?? err?.message ?? String(err), + }), + }); + } finally { + setIsExpanding(false); + } + }, [setData, setOpenTreeNodes, t]); + + const collapseAll = useCallback(() => { + // The open-map is shared across spaces; collapse only current-space ids so + // other spaces' expanded state is left intact. + const ids = new Set(); + const walk = (nodes: SpaceTreeNode[]) => { + for (const n of nodes) { + ids.add(n.id); + if (n.children?.length) walk(n.children); + } + }; + walk(filteredData); + + setOpenTreeNodes((prev) => { + const next = { ...prev }; + for (const id of ids) next[id] = false; + return next; + }); + }, [filteredData, setOpenTreeNodes]); + + useImperativeHandle( + ref, + () => ({ expandAll, collapseAll, isExpanding }), + [expandAll, collapseAll, isExpanding], + ); + // Stable callbacks for DocTree. Without these, every parent render recreates // the props and tears down every row's draggable/dropTarget subscription, // defeating memo(DocTreeRow). @@ -228,4 +324,6 @@ export default function SpaceTree({ spaceId, readOnly }: SpaceTreeProps) { )} ); -} +}); + +export default SpaceTree; diff --git a/apps/client/src/features/space/components/sidebar/space-sidebar.tsx b/apps/client/src/features/space/components/sidebar/space-sidebar.tsx index 1786d84e..9ee98a50 100644 --- a/apps/client/src/features/space/components/sidebar/space-sidebar.tsx +++ b/apps/client/src/features/space/components/sidebar/space-sidebar.tsx @@ -7,6 +7,8 @@ import { } from "@mantine/core"; import { IconArrowDown, + IconChevronsDown, + IconChevronsUp, IconDots, IconEye, IconEyeOff, @@ -23,14 +25,16 @@ import { useUnwatchSpaceMutation, } from "@/features/space/queries/space-watcher-query.ts"; import classes from "./space-sidebar.module.css"; -import React from "react"; +import React, { useRef } from "react"; import { useTreeMutation } from "@/features/page/tree/hooks/use-tree-mutation.ts"; import { Link, useParams } from "react-router-dom"; import clsx from "clsx"; import { useDisclosure } from "@mantine/hooks"; import SpaceSettingsModal from "@/features/space/components/settings-modal.tsx"; import { useGetSpaceBySlugQuery } from "@/features/space/queries/space-query.ts"; -import SpaceTree from "@/features/page/tree/components/space-tree.tsx"; +import SpaceTree, { + SpaceTreeApi, +} from "@/features/page/tree/components/space-tree.tsx"; import { useSpaceAbility } from "@/features/space/permissions/use-space-ability.ts"; import { SpaceCaslAction, @@ -57,6 +61,7 @@ export function SpaceSidebar() { const spaceRules = space?.membership?.permissions; const spaceAbility = useSpaceAbility(spaceRules); const { handleCreate } = useTreeMutation(space?.id ?? ""); + const treeRef = useRef(null); if (!space) { return <>; @@ -100,6 +105,7 @@ export function SpaceSidebar() { SpaceCaslSubject.Page, )} onSpaceSettings={openSettings} + treeRef={treeRef} /> {spaceAbility.can( @@ -122,6 +128,7 @@ export function SpaceSidebar() {
void; + treeRef: React.RefObject; } function SpaceMenu({ spaceId, canManagePages, onSpaceSettings, + treeRef, }: SpaceMenuProps) { const { t } = useTranslation(); + const [isExpanding, setIsExpanding] = React.useState(false); + + const handleExpandAll = async () => { + setIsExpanding(true); + try { + await treeRef.current?.expandAll(); + } finally { + setIsExpanding(false); + } + }; + + const handleCollapseAll = () => { + treeRef.current?.collapseAll(); + }; const { spaceSlug } = useParams(); const [importOpened, { open: openImportModal, close: closeImportModal }] = useDisclosure(false); @@ -201,6 +224,24 @@ function SpaceMenu({ + } + > + {t("Expand all")} + + + } + > + {t("Collapse all")} + + + + ( pages: T[], - rootPageId: string, + rootPageId: string | null, userId: string, spaceId?: string, ): Promise { @@ -1153,6 +1153,15 @@ export class PageService { ); const accessibleSet = new Set(accessibleIds); + // When no explicit root is given (whole-space tree), every page whose + // parent is outside the returned set acts as a root (space root pages have + // parentPageId === null). This mirrors the single-root case below. + const pageIdSet = new Set(pageIds); + const isRoot = (page: T): boolean => { + if (rootPageId !== null) return page.id === rootPageId; + return !page.parentPageId || !pageIdSet.has(page.parentPageId); + }; + // Prune: include a page only if it's accessible AND its parent chain to root is included const includedIds = new Set(); @@ -1166,7 +1175,7 @@ export class PageService { if (!accessibleSet.has(page.id)) continue; // Root page: include if accessible - if (page.id === rootPageId) { + if (isRoot(page)) { includedIds.add(page.id); changed = true; continue; @@ -1182,4 +1191,123 @@ export class PageService { return pages.filter((p) => includedIds.has(p.id)); } + + /** + * Whole subtree (pageId) or whole space tree (spaceId only) in a single + * query, permission-filtered, returned as a flat list matching the sidebar + * item shape (id, slugId, title, icon, position, parentPageId, spaceId, + * hasChildren, canEdit) ordered by position. content is never fetched. + * + * Reproduces the exact two-branch permission logic of getSidebarPages(): + * - open space (no restrictions): every returned page is visible, canEdit = + * spaceCanEdit, hasChildren derived from the returned set. + * - restricted space: full descendant set is loaded, then per-page + * permissions applied via filterAccessibleTreePages (restricted-but-granted + * pages are kept; inaccessible subtrees pruned); canEdit is per-page AND + * spaceCanEdit; + * hasChildren is derived from the FINAL (post-prune, post-filter) set, so + * a node never advertises children the user cannot access — the same + * correction getSidebarPages does via getParentIdsWithAccessibleChildren. + */ + async getSidebarPagesTree( + spaceId: string, + userId: string, + spaceCanEdit?: boolean, + pageId?: string, + ): Promise< + Array< + Pick< + Page, + | 'id' + | 'slugId' + | 'title' + | 'icon' + | 'position' + | 'parentPageId' + | 'spaceId' + > & { hasChildren: boolean; canEdit: boolean } + > + > { + const hasRestrictions = + await this.pagePermissionRepo.hasRestrictedPagesInSpace(spaceId); + + // Seed: a single page subtree, or all root pages of the space. + // Always seed with the FULL (non-excluding) descendant set — in a restricted + // space the per-page filtering below (filterAccessibleTreePages) does the + // pruning, exactly like getSidebarPages. Seeding with *ExcludingRestricted + // would wrongly drop restricted pages the user has an explicit grant for + // (and never recurse into their children), diverging from the sidebar. + let pages: Array<{ + id: string; + slugId: string; + title: string; + icon: string; + position: string; + parentPageId: string | null; + spaceId: string; + }>; + + if (pageId) { + pages = await this.pageRepo.getPageAndDescendants(pageId, { + includeContent: false, + }); + } else { + pages = await this.pageRepo.getSpaceDescendants(spaceId, { + includeContent: false, + }); + } + + let permissionMap: Map | undefined; + + if (hasRestrictions) { + // Fine-grained per-page permissions on top of restricted pruning. + pages = await this.filterAccessibleTreePages( + pages, + pageId ?? null, + userId, + spaceId, + ); + + // Per-page canEdit, same source as getSidebarPages. + const accessiblePages = + await this.pagePermissionRepo.filterAccessiblePageIdsWithPermissions( + pages.map((p) => p.id), + userId, + ); + permissionMap = new Map(accessiblePages.map((p) => [p.id, p.canEdit])); + } + + // Derive hasChildren from the FINAL set: a node has children iff some + // returned row points to it as parent. In a restricted space this set is + // already pruned/filtered, so inaccessible children are not revealed. + const parentIds = new Set(); + for (const p of pages) { + if (p.parentPageId) parentIds.add(p.parentPageId); + } + + const shaped = pages.map((p) => ({ + id: p.id, + slugId: p.slugId, + title: p.title, + icon: p.icon, + position: p.position, + parentPageId: p.parentPageId, + spaceId: p.spaceId, + hasChildren: parentIds.has(p.id), + canEdit: hasRestrictions + ? Boolean(permissionMap?.get(p.id)) && (spaceCanEdit ?? true) + : (spaceCanEdit ?? true), + })); + + // Order by position with byte order, matching the sidebar's + // `position collate "C"` SQL ordering. position is non-null in returned + // rows; treat a null defensively as sorting last. + shaped.sort((a, b) => { + if (a.position == null) return b.position == null ? 0 : 1; + if (b.position == null) return -1; + return Buffer.compare(Buffer.from(a.position), Buffer.from(b.position)); + }); + + return shaped; + } } diff --git a/apps/server/src/core/page/services/sidebar-pages-tree.spec.ts b/apps/server/src/core/page/services/sidebar-pages-tree.spec.ts new file mode 100644 index 00000000..0c3a43c9 --- /dev/null +++ b/apps/server/src/core/page/services/sidebar-pages-tree.spec.ts @@ -0,0 +1,179 @@ +/** + * Pure-logic test for getSidebarPagesTree's shaping/permission logic. + * + * NOTE: We cannot import PageService directly here — its dependency chain + * imports `src/collaboration/collaboration.util` via a bare `src/...` path, and + * the server's jest config (package.json "jest".moduleNameMapper) has no + * `^src/(.*)$` mapping, so the module fails to resolve under jest. That is a + * pre-existing config gap unrelated to this feature. To still cover the + * load-bearing logic we replicate the exact shaping algorithm from + * PageService.getSidebarPagesTree below and assert against it. If the service + * logic changes, keep this mirror in sync. + */ + +type RawPage = { + id: string; + slugId: string; + title: string; + icon: string; + position: string; + parentPageId: string | null; + spaceId: string; +}; + +// Mirror of the shaping/branch logic in PageService.getSidebarPagesTree. +function shapeTree( + pages: RawPage[], + opts: { + hasRestrictions: boolean; + spaceCanEdit?: boolean; + permissionMap?: Map; + }, +) { + const parentIds = new Set(); + for (const p of pages) { + if (p.parentPageId) parentIds.add(p.parentPageId); + } + + const shaped = pages.map((p) => ({ + id: p.id, + slugId: p.slugId, + title: p.title, + icon: p.icon, + position: p.position, + parentPageId: p.parentPageId, + spaceId: p.spaceId, + hasChildren: parentIds.has(p.id), + canEdit: opts.hasRestrictions + ? Boolean(opts.permissionMap?.get(p.id)) && (opts.spaceCanEdit ?? true) + : (opts.spaceCanEdit ?? true), + })); + + shaped.sort((a, b) => { + if (a.position == null) return b.position == null ? 0 : 1; + if (b.position == null) return -1; + return Buffer.compare(Buffer.from(a.position), Buffer.from(b.position)); + }); + + return shaped; +} + +const page = ( + id: string, + parentPageId: string | null, + position: string, +): RawPage => ({ + id, + slugId: `slug-${id}`, + title: `Page ${id}`, + icon: '', + position, + parentPageId, + spaceId: 'space-1', +}); + +describe('getSidebarPagesTree shaping logic', () => { + it('open space: canEdit = spaceCanEdit, hasChildren derived from set', () => { + const pages = [ + page('root', null, 'a0'), + page('child', 'root', 'a0'), + page('leaf', 'child', 'a0'), + ]; + + const result = shapeTree(pages, { + hasRestrictions: false, + spaceCanEdit: true, + }); + + const byId = new Map(result.map((p) => [p.id, p])); + expect(byId.get('root')!.hasChildren).toBe(true); + expect(byId.get('child')!.hasChildren).toBe(true); + expect(byId.get('leaf')!.hasChildren).toBe(false); + expect(result.every((p) => p.canEdit === true)).toBe(true); + }); + + it('open space: spaceCanEdit=false makes every node read-only', () => { + const pages = [page('root', null, 'a0'), page('child', 'root', 'a0')]; + const result = shapeTree(pages, { + hasRestrictions: false, + spaceCanEdit: false, + }); + expect(result.every((p) => p.canEdit === false)).toBe(true); + }); + + it('restricted space: hasChildren does not reveal pruned children', () => { + // Simulates the filterAccessibleTreePages result: "child" was pruned, so + // the returned set has no row with parent === root. + const prunedPages = [page('root', null, 'a0')]; + const result = shapeTree(prunedPages, { + hasRestrictions: true, + spaceCanEdit: true, + permissionMap: new Map([['root', true]]), + }); + expect(result).toHaveLength(1); + // root no longer advertises children the user cannot access. + expect(result[0].hasChildren).toBe(false); + }); + + it('restricted space: canEdit is per-page AND spaceCanEdit', () => { + const pages = [ + page('root', null, 'a0'), + page('child', 'root', 'a0'), + ]; + const result = shapeTree(pages, { + hasRestrictions: true, + spaceCanEdit: true, + permissionMap: new Map([ + ['root', true], + ['child', false], + ]), + }); + const byId = new Map(result.map((p) => [p.id, p])); + expect(byId.get('root')!.canEdit).toBe(true); + expect(byId.get('child')!.canEdit).toBe(false); + expect(byId.get('root')!.hasChildren).toBe(true); + }); + + it('restricted space: spaceCanEdit=false overrides per-page canEdit', () => { + const pages = [page('root', null, 'a0')]; + const result = shapeTree(pages, { + hasRestrictions: true, + spaceCanEdit: false, + permissionMap: new Map([['root', true]]), + }); + expect(result[0].canEdit).toBe(false); + }); + + it('orders by position (collate-C style ascending)', () => { + const pages = [ + page('b', null, 'a1'), + page('c', null, 'a2'), + page('a', null, 'a0'), + ]; + const result = shapeTree(pages, { + hasRestrictions: false, + spaceCanEdit: true, + }); + expect(result.map((p) => p.id)).toEqual(['a', 'b', 'c']); + }); + + it('shape contains exactly the sidebar item fields', () => { + const result = shapeTree([page('root', null, 'a0')], { + hasRestrictions: false, + spaceCanEdit: true, + }); + expect(Object.keys(result[0]).sort()).toEqual( + [ + 'canEdit', + 'hasChildren', + 'icon', + 'id', + 'parentPageId', + 'position', + 'slugId', + 'spaceId', + 'title', + ].sort(), + ); + }); +}); diff --git a/apps/server/src/database/repos/page/page.repo.ts b/apps/server/src/database/repos/page/page.repo.ts index b2884603..639cf57b 100644 --- a/apps/server/src/database/repos/page/page.repo.ts +++ b/apps/server/src/database/repos/page/page.repo.ts @@ -672,4 +672,58 @@ export class PageRepo { .execute() ); } + + /** + * Whole space tree (all root pages and their descendants) in a single + * recursive query. Mirrors getPageAndDescendants but seeded by every root + * page of the space (parentPageId IS NULL) instead of a single parent. + */ + async getSpaceDescendants( + spaceId: string, + opts: { includeContent: boolean }, + ) { + return this.db + .withRecursive('page_hierarchy', (db) => + db + .selectFrom('pages') + .select([ + 'id', + 'slugId', + 'title', + 'icon', + 'position', + 'parentPageId', + 'spaceId', + 'workspaceId', + 'createdAt', + 'updatedAt', + ]) + .$if(opts?.includeContent, (qb) => qb.select('content')) + .where('spaceId', '=', spaceId) + .where('parentPageId', 'is', null) + .where('deletedAt', 'is', null) + .unionAll((exp) => + exp + .selectFrom('pages as p') + .select([ + 'p.id', + 'p.slugId', + 'p.title', + 'p.icon', + 'p.position', + 'p.parentPageId', + 'p.spaceId', + 'p.workspaceId', + 'p.createdAt', + 'p.updatedAt', + ]) + .$if(opts?.includeContent, (qb) => qb.select('p.content')) + .innerJoin('page_hierarchy as ph', 'p.parentPageId', 'ph.id') + .where('p.deletedAt', 'is', null), + ), + ) + .selectFrom('page_hierarchy') + .selectAll() + .execute(); + } } From b38b71eb51bf587a064e7d871e62268a13a9ec92 Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 05:31:34 +0300 Subject: [PATCH 02/14] docs: remove implemented tree-expand-collapse-all backlog plan Co-Authored-By: Claude Opus 4.8 --- docs/backlog/tree-expand-collapse-all.md | 301 ----------------------- 1 file changed, 301 deletions(-) delete mode 100644 docs/backlog/tree-expand-collapse-all.md diff --git a/docs/backlog/tree-expand-collapse-all.md b/docs/backlog/tree-expand-collapse-all.md deleted file mode 100644 index 0fce6da1..00000000 --- a/docs/backlog/tree-expand-collapse-all.md +++ /dev/null @@ -1,301 +0,0 @@ -# Дерево страниц: кнопки «Развернуть всё» / «Свернуть всё» - -Статус: **план, код не менялся.** Фича клиент+сервер. По решению владельца выбран -**серверный путь**: эндпоинт отдаёт **всё поддерево/всё дерево спейса разом** -(«отдать всё»), а клиент за один-два запроса разворачивает дерево целиком. От -клиентского рекурсивного обхода по одному уровню — отказались (см. «Почему так»). - -## Суть - -В сайдбаре спейса (дерево «Pages») сейчас узлы разворачиваются/сворачиваются -только поодиночке кликом по шеврону. Есть шорткат `*` (разворачивает **сиблингов** -сфокусированного узла, паттерн WAI-ARIA tree), но глобального «развернуть/свернуть -всё дерево» нет. - -Хотим: две команды в шапке дерева — **«Развернуть всё»** (раскрыть все ветки -текущего спейса) и **«Свернуть всё»** (схлопнуть до корней). Это навигационная -операция над видом — прав на запись не требует, доступна любому, кто видит спейс. - -## Почему так (выбор архитектуры) - -Дети узлов **загружаются лениво, по одному уровню**: у свёрнутой ветки -`hasChildren === true`, но `children === []`, а эндпоинт `/pages/sidebar-pages` -отдаёт **только прямых детей** одного `pageId`. «Развернуть всё» поверх такого -API = рекурсивный BFS на десятки-сотни HTTP-запросов (шторм запросов, лимиты, -долгий индикатор, защитный потолок). Это и был отвергнутый вариант. - -**Решение — отдать всё одним запросом на сервере.** У бэкенда уже есть готовые -кирпичи для рекурсивной выборки поддерева с учётом прав (используются в -`movePageToSpace`): -- `pageRepo.getPageAndDescendants(parentPageId, { includeContent: false })` - ([page.repo.ts:557](apps/server/src/database/repos/page/page.repo.ts#L557)) — - рекурсивный CTE: страница + все потомки одним запросом. -- `pageRepo.getPageAndDescendantsExcludingRestricted(parentPageId, opts)` - ([page.repo.ts:612](apps/server/src/database/repos/page/page.repo.ts#L612)) — - то же, но **обрезает закрытые (restricted) поддеревья прямо в SQL** (один - запрос, не тянет лишнее). -- `pageService.filterAccessibleTreePages(allPages, rootId, userId, spaceId)` - ([page.service.ts:1136](apps/server/src/core/page/services/page.service.ts#L1136)) - — точечная фильтрация дерева по правам с сохранением целостности (для - per-page permissions сверх restricted-спейсов). -- `pageRepo.withHasChildren(eb)` - ([page.repo.ts:539](apps/server/src/database/repos/page/page.repo.ts#L539)) — - вычисление `hasChildren` в SQL (при отдаче всего дерева `hasChildren` можно и - вывести на клиенте — у узла есть дети, если в ответе есть страница с - `parentPageId === id`). - -Плюсы серверного пути: один-два запроса вместо сотен; предсказуемо даже на -тысячах страниц; права считаются на сервере (единый источник правды); на клиенте -нет BFS/ограничителя параллелизма/защитного потолка. Минус — нужна работа на -бэкенде (новый рекурсивный режим эндпоинта) и контроль размера ответа. - -## Где сейчас живёт код (точные места) - -### Клиент — фича `apps/client/src/features/page/tree/` -- **Состояние раскрытия** — - [open-tree-nodes-atom.ts](apps/client/src/features/page/tree/atoms/open-tree-nodes-atom.ts): - `openTreeNodesAtom`, тип `OpenMap = Record` (id → раскрыт ли), - **персист в localStorage**, ключ `openTreeNodes:{workspaceId}:{userId}`. - ⚠ **Карта общая для всех спейсов воркспейса.** -- **Данные дерева** — - [tree-data-atom.ts](apps/client/src/features/page/tree/atoms/tree-data-atom.ts): - `treeDataAtom: SpaceTreeNode[]`, накопительно по спейсам; на рендере - фильтруется по `spaceId`. -- **Модель узла** — - [types.ts](apps/client/src/features/page/tree/types.ts): `SpaceTreeNode` - (`id`, `spaceId`, `hasChildren`, `children`, `name`, `icon`, `position`, - `parentPageId`, `canEdit`, `slugId`). -- **Обёртка/тоггл/загрузка** — - [space-tree.tsx](apps/client/src/features/page/tree/components/space-tree.tsx): - `filteredData` (стр. 184-187, узлы текущего спейса), `handleToggle` (стр. - 164-182, ленивая загрузка уровня), `spaceIdRef` (стр. 46-47, защита от гонок). -- **Модель-операции** — - [tree-model.ts](apps/client/src/features/page/tree/model/tree-model.ts): - `find`, `appendChildren`, `visible`, `siblingsOf`. -- **HTTP-загрузка** — - [page-query.ts](apps/client/src/features/page/queries/page-query.ts) + - [page-service.ts](apps/client/src/features/page/services/page-service.ts): - `getSidebarPages` / `getAllSidebarPages` (паджинируют **один уровень**), - `fetchAllAncestorChildren`, утилиты `buildTree` / `buildTreeWithChildren` / - `mergeRootTrees` ([utils.ts](apps/client/src/features/page/tree/utils/utils.ts)). -- **Шапка дерева (куда вешать команды)** — - [space-sidebar.tsx:117-149](apps/client/src/features/space/components/sidebar/space-sidebar.tsx#L117): - `SpaceMenu` (дропдаун на `IconDots`, стр. 172-281, уже с `Menu.Item`/ - `Menu.Divider`) + кнопка «+» (Create page). - -### Сервер — фича `apps/server/src/core/page/` -- **Эндпоинт сайдбара** — - [page.controller.ts:540](apps/server/src/core/page/page.controller.ts#L540) - `POST /pages/sidebar-pages` (`SidebarPageDto`: `spaceId | pageId`), - CASL-скоуп на спейс, отдаёт **один уровень**. -- **Сервис** — - [page.service.ts:304](apps/server/src/core/page/services/page.service.ts#L304) - `getSidebarPages(spaceId, pagination, pageId?, userId?, spaceCanEdit?)`: - выборка одного уровня + `withHasChildren` + **двухветочная фильтрация прав** — - если в спейсе нет ограничений (`pagePermissionRepo.hasRestrictedPagesInSpace`) - → `canEdit = spaceCanEdit`; иначе per-page фильтр через - `filterAccessiblePageIdsWithPermissions` + корректировка `hasChildren` по - `getParentIdsWithAccessibleChildren`. **Эту же логику прав надо повторить в - рекурсивном режиме.** - -## Решение - -### Серверная часть — «отдать всё поддерево» одним запросом - -Добавить рекурсивный режим выдачи дерева. Варианты оформления (выбрать на ревью): -- флаг `recursive: true` (и опц. `depth`) к существующему `POST /pages/sidebar-pages`, **или** -- отдельный эндпоинт `POST /pages/tree` (`{ spaceId }` → всё дерево спейса; - `{ pageId }` → всё поддерево страницы). - -Контракт ответа: **плоский список элементов в точно том же shape, что и текущий -`/pages/sidebar-pages`** (`id`, `slugId`, `title`, `icon`, `position`, -`parentPageId`, `spaceId`, `hasChildren`, `canEdit`), чтобы клиентские -`buildTree`/`buildTreeWithChildren` собрали дерево без изменений. Порядок — по -`position` (collate "C"), как сейчас. - -Сервисный метод (эскиз), переиспользует существующие кирпичи: -```ts -// Whole subtree (pageId) or whole space tree (spaceId only) in a single query, -// permission-filtered, returned as a flat list matching the sidebar item shape. -async getSidebarPagesTree(spaceId, userId, spaceCanEdit, pageId?) { - const hasRestrictions = await this.pagePermissionRepo.hasRestrictedPagesInSpace(spaceId); - - // Seed: a single page subtree, or all root pages of the space. - // - restricted space -> *ExcludingRestricted (prunes closed subtrees in SQL) - // - open space -> plain recursive descendants - // For the whole-space case add a space-rooted recursive CTE (seed: - // parentPageId is null AND spaceId = ? AND deletedAt is null), mirroring - // getPageAndDescendants/...ExcludingRestricted. - let pages = hasRestrictions - ? await this.pageRepo.getSpaceDescendantsExcludingRestricted(spaceId, pageId, { includeContent: false }) - : await this.pageRepo.getSpaceDescendants(spaceId, pageId, { includeContent: false }); - - // Fine-grained per-page permissions on top of restricted pruning. - if (hasRestrictions) { - pages = await this.filterAccessibleTreePages(pages, pageId ?? null, userId, spaceId); - } - - // Derive hasChildren from the returned set; stamp canEdit (per-page when - // restricted, else spaceCanEdit). Same two-branch logic as getSidebarPages(). - return shapeAsSidebarItems(pages, { hasRestrictions, spaceCanEdit /*, permissionMap */ }); -} -``` -Где `getSpaceDescendants` / `getSpaceDescendantsExcludingRestricted` — новые -тонкие обёртки над существующими рекурсивными CTE (для случая «всё дерево спейса» -— CTE, засеянный корнями спейса вместо одного `parentPageId`). - -**Важно про права:** обязательно сохранить **обе ветки** фильтрации из -`getSidebarPages` (restricted / не-restricted) и корректировку `hasChildren`, -иначе рекурсивный эндпоинт начнёт отдавать страницы, к которым у пользователя нет -доступа. Это критичная грань — на ревью проверить отдельно. - -### Клиентская часть — упрощённый `expandAll` - -Поскольку дерево приходит целиком, BFS/параллелизм/потолок не нужны. - -`page-service.ts` — новый вызов: -```ts -// Fetch the whole space tree (all roots + descendants) in one shot. -export async function getSpaceTree(params: { spaceId: string; pageId?: string }): Promise { - const req = await api.post("/pages/tree", params); // or /sidebar-pages { recursive: true } - return req.data.items; -} -``` - -`space-tree.tsx` — превратить `SpaceTree` в `forwardRef` и выставить -`useImperativeHandle`: -```ts -export type SpaceTreeApi = { - expandAll: () => Promise; - collapseAll: () => void; - isExpanding: boolean; -}; - -const expandAll = useCallback(async () => { - const startSpaceId = spaceIdRef.current; - setIsExpanding(true); - try { - // One request: the entire space tree, permission-filtered server-side. - const items = await getSpaceTree({ spaceId: startSpaceId }); - if (spaceIdRef.current !== startSpaceId) return; // space switched — abort - - const fullTree = buildTreeWithChildren(items); - setData((prev) => { - // Replace current-space nodes with the full tree; keep other spaces intact. - const others = prev.filter((n) => n?.spaceId !== startSpaceId); - return [...others, ...mergeRootTrees(prev.filter((n) => n?.spaceId === startSpaceId), fullTree)]; - }); - - // Open every branch node of the current space. - const branchIds = collectBranchIds(fullTree); // nodes with children - setOpenTreeNodes((prev) => { - const next = { ...prev }; - for (const id of branchIds) next[id] = true; - return next; - }); - } catch (err) { - // Never swallow: log full error + show the real reason (project convention). - console.error("[tree] expandAll failed", err); - notifications.show({ color: "red", - message: t("Couldn't expand the tree: {{reason}}", { reason: err?.response?.data?.message ?? err?.message ?? String(err) }) }); - } finally { - setIsExpanding(false); - } -}, [/* setData, setOpenTreeNodes, t */]); -``` - -`collapseAll` — снимать раскрытие **только у узлов текущего спейса** (карта общая): -```ts -const collapseAll = useCallback(() => { - // The open-map is shared across spaces; clearing it wholesale would drop - // other spaces' expanded state. Collapse only current-space ids. - const ids = new Set(); - const walk = (nodes: SpaceTreeNode[]) => { - for (const n of nodes) { ids.add(n.id); if (n.children?.length) walk(n.children); } - }; - walk(filteredData); - setOpenTreeNodes((prev) => { - const next = { ...prev }; - for (const id of ids) next[id] = false; - return next; - }); -}, [filteredData, setOpenTreeNodes]); -``` - -`space-sidebar.tsx` — `const treeRef = useRef(null)`, передать -в ``, и подвесить команды в шапке. **Без -`canManage`-гейта** — это операция над видом, не над данными. - -## UX-развилка по размещению - -В шапке уже два значка (`IconDots` меню + `IconPlus` создать). Варианты: -- **(1) Две `ActionIcon`** «развернуть»/«свернуть» (`IconChevronsDown` / - `IconChevronsUp`) → 4 значка в узкой шапке, явно и в один клик. -- **(2) Одна `ActionIcon`-тоггл** развернуть↔свернуть → 3 значка, компактнее, но - состояние менее очевидно. -- **(3) Два `Menu.Item`** в `SpaceMenu` (`Развернуть всё` / `Свернуть всё` + - `Menu.Divider`) → шапка не растёт, но в два клика и менее заметно. - -> **Рекомендация:** **(3)** как самый чистый по вёрстке (узкая колонка) либо -> **(1)**, если важна доступность в один клик. Тултипы/`aria-label`: -> `t("Expand all")` / `t("Collapse all")`; во время загрузки — `loading`/ -> `disabled` (`isExpanding`). - -## Тонкие моменты / edge cases - -- **Права в рекурсивном эндпоинте.** Самый важный пункт: повторить **обе** ветки - фильтрации (restricted / открытый спейс) и корректировку `hasChildren` из - `getSidebarPages`. Предпочесть `*ExcludingRestricted` (обрезает закрытые - поддеревья в SQL) + `filterAccessibleTreePages` для per-page прав. На ревью — - тест: пользователь без доступа к ветке не должен видеть её через «развернуть - всё». -- **Размер ответа.** Всё дерево спейса может быть большим. `content` **не** - тянуть (`includeContent: false`). Прикинуть потолок (число узлов) и поведение - при очень больших спейсах — отдавать всё или ограничить + честно сообщить - (конвенция: не молчать про усечение). -- **Скоуп карты раскрытия.** `openTreeNodesAtom` общая для спейсов — и - `expandAll`, и `collapseAll` работают **только по узлам текущего спейса**. -- **Гонки при смене спейса.** Запрос асинхронный; сверяться с - `spaceIdRef.current` и прерывать мёрдж/раскрытие, если спейс сменился (паттерн - уже есть в эффектах `space-tree.tsx`). -- **Мёрдж с уже загруженным.** Полное дерево вмёрджить в `treeDataAtom`, заместив - узлы текущего спейса (`mergeRootTrees`/замена ветки), **не трогая** узлы - других спейсов. -- **Ошибки не глотать.** Любой сбой — `console.error` с полным объектом **и** - уведомление с реальной причиной (`err.response?.data?.message`/`err.message`), - не «что-то пошло не так» (CLAUDE.md «Errors must never be swallowed»). -- **Индикатор.** На крупном спейсе запрос заметный — кнопку в `loading`, чтобы не - было повторных кликов/ощущения зависания. -- **Рост localStorage-карты.** `expandAll` пишет много ключей; для удалённых - страниц ключи «висят». Не критично; уборка карты — отдельная задача. -- **Пустой спейс / одни листья.** Кнопки — no-op; «развернуть» можно `disabled`. -- **Шорткат `*`** (развернуть сиблингов, - [doc-tree.tsx](apps/client/src/features/page/tree/components/doc-tree.tsx)) не - трогаем — дополняем его. -- **Виртуализация.** Дерево на `@tanstack/react-virtual` — раскрытие тысяч строк - рендер не убьёт (рисуются видимые), но резко меняет высоту скролла; проверить, - что позиция/скролл не прыгают. - -## Тесты / проверка - -- **Сервер:** `pnpm --filter server test` (unit на новый сервисный метод). - Кейсы: открытый спейс (видно всё), restricted-спейс (закрытые ветки и их - поддеревья **не** попадают в ответ), per-page права (`canEdit`), корректный - `hasChildren`, порядок по `position`, `content` не тянется. -- **Клиент:** `pnpm --filter client lint`, `pnpm --filter client test`. -- **Ручная:** глубокий спейс → «развернуть всё» раскрывает все уровни одним - запросом, индикатор работает; «свернуть всё» схлопывает до корней и **не** - теряет состояние другого спейса (переключиться туда-обратно); перезагрузка — - состояние сохраняется (localStorage); смена спейса в середине загрузки — - корректно прерывается; пустой спейс — без поломок; имитация ошибки сети — видно - конкретное уведомление, ошибка залогирована. - -## Открытые вопросы - -1. **Оформление эндпоинта:** флаг `recursive` к `/pages/sidebar-pages` против - отдельного `/pages/tree`. (Контракт ответа в обоих — плоский список в shape - текущего сайдбара.) -2. **Размещение команд:** две иконки (1) / одна-тоггл (2) / пункты меню (3). - Рекомендация — (3) или (1). -3. **Потолок размера ответа:** отдавать дерево любого размера или ограничить - (число узлов) и как сообщать про усечение. From b197cbedef9e2539b7cd53cf8c8e003ce9c12af7 Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 05:38:13 +0300 Subject: [PATCH 03/14] feat(ai-chat): raise agent step cap 8->20, force a final text answer A narrow research question could burn all 8 steps on tool calls and end the turn with no assistant text (empty turn). Two changes: - MAX_AGENT_STEPS = 20 (was a magic stepCountIs(8)) so multi-search turns aren't cut off mid-investigation. - prepareStep reserves the LAST allowed step for a text-only synthesis: toolChoice 'none' + a FINAL_STEP_INSTRUCTION appended to (not replacing) the system prompt, so a tool-heavy turn always ends with a real answer. Logic extracted into the pure, exported prepareAgentStep(stepNumber, system) for unit testing; earlier steps return undefined (default behavior). Implements docs/backlog/ai-chat-step-limit-and-forced-final-answer.md. Co-Authored-By: Claude Opus 4.8 --- .../src/core/ai-chat/ai-chat.service.spec.ts | 34 ++++++++++++++- .../src/core/ai-chat/ai-chat.service.ts | 41 ++++++++++++++++++- 2 files changed, 73 insertions(+), 2 deletions(-) diff --git a/apps/server/src/core/ai-chat/ai-chat.service.spec.ts b/apps/server/src/core/ai-chat/ai-chat.service.spec.ts index f1f3461a..d007c546 100644 --- a/apps/server/src/core/ai-chat/ai-chat.service.spec.ts +++ b/apps/server/src/core/ai-chat/ai-chat.service.spec.ts @@ -1,4 +1,9 @@ -import { compactToolOutput } from './ai-chat.service'; +import { + compactToolOutput, + prepareAgentStep, + MAX_AGENT_STEPS, + FINAL_STEP_INSTRUCTION, +} from './ai-chat.service'; /** * Unit tests for compactToolOutput: the pure helper that shrinks LARGE tool @@ -66,3 +71,30 @@ describe('compactToolOutput', () => { expect(compactedBytes).toBeLessThan(originalBytes / 10); }); }); + +/** + * Unit tests for prepareAgentStep: the pure helper that decides per-step + * overrides for the agent loop. Early steps return undefined (default + * behavior); the final allowed step (stepNumber === MAX_AGENT_STEPS - 1) forces + * a text-only synthesis answer (toolChoice 'none') with the FINAL_STEP_INSTRUCTION + * appended onto — not replacing — the original system prompt. + */ +describe('prepareAgentStep', () => { + it('returns undefined for the first step', () => { + expect(prepareAgentStep(0, 'SYS')).toBeUndefined(); + }); + + it('returns undefined for a non-final step (just before the last)', () => { + expect(prepareAgentStep(MAX_AGENT_STEPS - 2, 'SYS')).toBeUndefined(); + }); + + it('forces a text-only synthesis on the final allowed step', () => { + const result = prepareAgentStep(MAX_AGENT_STEPS - 1, 'SYS'); + expect(result).toBeDefined(); + expect(result?.toolChoice).toBe('none'); + // The original persona is preserved (prefix), not replaced. + expect(result?.system.startsWith('SYS')).toBe(true); + // The synthesis instruction is appended. + expect(result?.system).toContain(FINAL_STEP_INSTRUCTION); + }); +}); diff --git a/apps/server/src/core/ai-chat/ai-chat.service.ts b/apps/server/src/core/ai-chat/ai-chat.service.ts index 3119c3c4..1b274238 100644 --- a/apps/server/src/core/ai-chat/ai-chat.service.ts +++ b/apps/server/src/core/ai-chat/ai-chat.service.ts @@ -17,6 +17,39 @@ import { AiChatToolsService } from './tools/ai-chat-tools.service'; import { McpClientsService } from './external-mcp/mcp-clients.service'; import { buildSystemPrompt } from './ai-chat.prompt'; +// Max agent steps per turn. One step = one model generation; a step that calls +// tools is followed by another step carrying the tool results. Raised from 8 so +// multi-search research questions are not cut off mid-investigation. +const MAX_AGENT_STEPS = 20; + +// System-prompt addendum injected ONLY on the final step (see prepareAgentStep). +// It forbids further tool calls and tells the model to synthesize the best +// answer it can from what it already gathered, so a tool-heavy turn never ends +// empty. +const FINAL_STEP_INSTRUCTION = + 'You have reached the maximum number of tool-use steps for this turn. ' + + 'Do NOT call any more tools. Using only the information already gathered, ' + + "write the most complete, useful final answer you can now, in the user's " + + 'language. If the information is incomplete, say so explicitly: summarize ' + + 'what you found, what is still missing, and give your best partial conclusion.'; + +// Pure, unit-testable: decide per-step overrides. Returns undefined for normal +// steps; on the final allowed step forces a text-only synthesis answer. +// `system` is the in-scope system prompt; we CONCATENATE so the original +// persona/context is preserved — a bare `system` override would REPLACE the +// whole system prompt for the step. +export function prepareAgentStep( + stepNumber: number, + system: string, +): { toolChoice: 'none'; system: string } | undefined { + if (stepNumber >= MAX_AGENT_STEPS - 1) { + return { toolChoice: 'none', system: `${system}\n\n${FINAL_STEP_INSTRUCTION}` }; + } + return undefined; +} + +export { MAX_AGENT_STEPS, FINAL_STEP_INSTRUCTION }; + /** * Payload accepted from the client `useChat` POST body. We do NOT bind a strict * DTO (the global ValidationPipe whitelist would strip the useChat-specific @@ -244,7 +277,13 @@ export class AiChatService { // cap would truncate complex tool calls mid-argument. Let the model use its // natural per-step budget. (Cost/credit limits are an account concern, not // something to enforce by silently breaking the agent.) - stopWhen: stepCountIs(8), + stopWhen: stepCountIs(MAX_AGENT_STEPS), + // Forced finalization: reserve the LAST allowed step for a text-only + // answer. Without this, a turn that spends all its steps on tool calls + // ends with no assistant text (an empty turn). prepareAgentStep forbids + // further tool calls and appends a synthesis instruction on that step, + // concatenated onto the original `system` so the persona is preserved. + prepareStep: ({ stepNumber }) => prepareAgentStep(stepNumber, system), abortSignal: signal, onFinish: async ({ text, finishReason, totalUsage, usage, steps }) => { await persistAssistant({ From fb01c07b71908f5197bb732f2024985848693e4c Mon Sep 17 00:00:00 2001 From: claude code agent 227 Date: Sat, 20 Jun 2026 05:38:13 +0300 Subject: [PATCH 04/14] docs: remove implemented ai-chat-step-limit backlog plan Co-Authored-By: Claude Opus 4.8 --- ...chat-step-limit-and-forced-final-answer.md | 199 ------------------ 1 file changed, 199 deletions(-) delete mode 100644 docs/backlog/ai-chat-step-limit-and-forced-final-answer.md diff --git a/docs/backlog/ai-chat-step-limit-and-forced-final-answer.md b/docs/backlog/ai-chat-step-limit-and-forced-final-answer.md deleted file mode 100644 index fb2f4a86..00000000 --- a/docs/backlog/ai-chat-step-limit-and-forced-final-answer.md +++ /dev/null @@ -1,199 +0,0 @@ -# Лимит шагов AI-агента (8 → 20) и принудительный финальный ответ - -Контекст (симптом из реального чата): на узкий поисковый вопрос («Какой -процессор в первой версии Яндекс.Колонки?») агент сделал подряд ~8 вызовов -`Search_tavily_search` / `Search_tavily_extract` и **остановился без текстового -ответа** — ход завершился пустым. Пользователь отправил «?», что стартовало -новый ход с новым бюджетом, и агент продолжил. Причина — жёсткий потолок в -8 шагов на один ход агента: бюджет был израсходован на инструменты раньше, чем -модель дошла до шага с финальным текстом. - -Хотим две вещи: -1. поднять лимит шагов с 8 до 20; -2. гарантировать непустой ответ — на последнем шаге принудительно запрещать - инструменты, чтобы модель синтезировала лучший ответ из уже собранного. - -## Как сейчас устроен лимит (цепочка) - -Единственная точка ограничения — `stopWhen` в вызове `streamText`: - -- Импорт условия: `apps/server/src/core/ai-chat/ai-chat.service.ts:7` - (`stepCountIs` из `ai`). -- Потолок: `apps/server/src/core/ai-chat/ai-chat.service.ts:247` - — `stopWhen: stepCountIs(8)` внутри `streamText({...})` (вызов начинается на - `:237`). -- Системный промпт, который уходит в `streamText({ system, ... })`, собирается - заранее в локальной переменной `system`: - `apps/server/src/core/ai-chat/ai-chat.service.ts:146-150` - (`buildSystemPrompt({...})`). Эта переменная в области видимости рядом с - вызовом `streamText` — её можно переиспользовать в `prepareStep`. -- Терминальные колбэки `onFinish` / `onError` / `onAbort` - (`ai-chat.service.ts:249-301`) сохраняют ответ ассистента через - `persistAssistant` (`:210-230`). При пустом ходе `onFinish` приходит с - `text === ''`, и в историю пишется пустое сообщение — это и видит пользователь - как «агент ничего не ответил». - -### Что такое «шаг» (семантика AI SDK v6) - -Один шаг = одна генерация модели. Если в шаге есть вызовы инструментов, они -выполняются, результат возвращается модели, и запускается следующий шаг. -`stopWhen: stepCountIs(N)` останавливает цикл, как только число завершённых -шагов достигает `N`. Цикл также завершается естественно, если модель сделала шаг -**без** вызова инструментов (выдала финальный текст). - -Важно: `stepNumber` в `prepareStep` нумеруется с нуля; последний из `N` шагов — -это `stepNumber === N - 1`. Один шаг может содержать несколько параллельных -вызовов инструментов, поэтому `N` шагов ≠ всегда ровно `N` вызовов (в инциденте -они шли последовательно — получилось ровно 8). - -## Решение (точечное, только сервер) - -Файл: `apps/server/src/core/ai-chat/ai-chat.service.ts`. - -1. Завести модульную константу вместо «магической» восьмёрки: - -```ts -// Max agent steps per turn. One step = one model generation; a step that calls -// tools is followed by another step carrying the tool results. Raised from 8 so -// multi-search research questions are not cut off mid-investigation. -const MAX_AGENT_STEPS = 20; - -// System-prompt addendum injected ONLY on the final step (see prepareStep). It -// forbids further tool calls and tells the model to synthesize the best answer -// it can from what it already gathered, so a tool-heavy turn never ends empty. -const FINAL_STEP_INSTRUCTION = - 'You have reached the maximum number of tool-use steps for this turn. ' + - 'Do NOT call any more tools. Using only the information already gathered, ' + - "write the most complete, useful final answer you can now, in the user's " + - 'language. If the information is incomplete, say so explicitly: summarize ' + - 'what you found, what is still missing, and give your best partial conclusion.'; -``` - -2. Поднять потолок: - -```ts -stopWhen: stepCountIs(MAX_AGENT_STEPS), -``` - -3. Добавить `prepareStep` в опции `streamText({...})` (рядом со `stopWhen`, - перед `abortSignal`). На последнем разрешённом шаге запрещаем инструменты - (`toolChoice: 'none'` → модель обязана выдать текст) и дополняем системный - промпт инструкцией синтеза. На остальных шагах ничего не возвращаем → - действуют дефолтные настройки: - -```ts -// Forced finalization: reserve the LAST allowed step for a text-only answer. -// Without this, a turn that spends all its steps on tool calls ends with no -// assistant text (an empty turn). On the final step we forbid further tool -// calls and append a synthesis instruction. `system` is the prompt built above -// (in scope here); we CONCATENATE so the original persona/context is preserved -// — a bare `system` override would REPLACE the whole system prompt for the step. -prepareStep: ({ stepNumber }) => { - if (stepNumber >= MAX_AGENT_STEPS - 1) { - return { - toolChoice: 'none', - system: `${system}\n\n${FINAL_STEP_INSTRUCTION}`, - }; - } - return undefined; // default settings for all earlier steps -}, -``` - -Итог: до 19 шагов модель свободно работает с инструментами, 20-й (последний) -шаг гарантированно текстовый. Если модель завершилась раньше естественным -образом — `prepareStep` для ранних шагов возвращает `undefined`, поведение не -меняется. - -## Подтверждённые факты по API (установлено: `ai@6.0.207`) - -Проверено по `node_modules/ai/dist/index.d.ts`: - -- `prepareStep({ stepNumber, steps, model, messages }) => PrepareStepResult | - void` — колбэк опции `streamText`. -- `PrepareStepResult` (строки ~990-1019) содержит поля: - `model?`, `toolChoice?`, `activeTools?`, `system?`, `messages?` и др. -- `toolChoice?: ToolChoice`, где - `ToolChoice = 'auto' | 'none' | 'required' | { type:'tool', toolName }` - (строка 126) — значит `toolChoice: 'none'` валидно и заставляет модель - отвечать текстом. -- `system?: string | SystemModelMessage | Array` — override - системного сообщения **для шага**; это полная замена, поэтому конкатенируем с - исходным `system`, а не пишем голую инструкцию. -- `stepNumber` нумеруется с нуля (док. пример: `if (stepNumber === 0) {...}`). - -> ⚠️ При апгрейде до AI SDK v7 поле `system` в `prepareStep` переименовано в -> `instructions` (см. migration guide 7.0). На v6 (`^6.0.134`, фактически -> 6.0.207) корректно именно `system`. Учесть при будущем bump. - -## Тонкие моменты / edge cases - -- **Резерв ровно одного шага** — на 20-м шаге модель не сможет сделать ещё один - «дозапрос». Это осознанный компромисс: гарантированный ответ важнее одного - лишнего инструмента. Если захочется буфера — форсить на `stepNumber >= - MAX_AGENT_STEPS - 2` (зарезервировать 2 шага), но это режет полезную работу. -- **Естественное завершение** до последнего шага — не затрагивается: override - применяется только при `stepNumber >= MAX_AGENT_STEPS - 1`. -- **finishReason** последнего шага: при `toolChoice:'none'` модель выдаёт текст - без tool-calls → цикл завершается как `stop` (а не «оборвался на лимите»). - Пустых ходов больше не будет; `onFinish` получит непустой `text`. -- **Замена system** override-ом — единственная ловушка: НЕ потерять исходный - промпт. Переменная `system` (`ai-chat.service.ts:146`) в замыкании — берём её. -- **maxOutputTokens** на агенте намеренно не задан (коммент `:242-246`) — это - изменение его не трогает; токенов на финальный текстовый шаг достаточно. -- **Клиент не меняется**: рендер шагов и текста уже есть в - `apps/client/src/features/ai-chat/components/message-list.tsx`. Раньше пустой - ход показывался как ход без текста — после фикса будет нормальный ответ. -- **Внешние MCP-клиенты** (tavily и пр.) закрываются в терминальных колбэках - (`closeExternalClients`) — путь завершения не меняется, ликов не добавляем. - -## Тестирование - -- Цикл `streamText` целиком юнит-тестировать дорого. Рекомендуется вынести - логику выбора шага в чистую экспортируемую функцию (по образцу - `compactToolOutput`, который уже тестируется в `ai-chat.service.spec.ts`): - -```ts -// Pure, unit-testable: decide per-step overrides. Returns undefined for normal -// steps, and forces a text-only synthesis on the final step. -export function prepareAgentStep( - stepNumber: number, - system: string, -): { toolChoice: 'none'; system: string } | undefined { - if (stepNumber >= MAX_AGENT_STEPS - 1) { - return { toolChoice: 'none', system: `${system}\n\n${FINAL_STEP_INSTRUCTION}` }; - } - return undefined; -} -``` - - Тогда `prepareStep: ({ stepNumber }) => prepareAgentStep(stepNumber, system)`, - а тест проверяет: для `stepNumber < 19` → `undefined`; для `19` → объект с - `toolChoice === 'none'` и `system`, начинающимся с исходного промпта и - содержащим `FINAL_STEP_INSTRUCTION`. - -## Альтернативы / возможные расширения (вне базового объёма) - -- **Конфигурируемый лимит** — вынести `MAX_AGENT_STEPS` в настройку воркспейса - (admin → AI), как системный промпт (`AiSettingsService.resolve`). Сейчас же — - просто константа в коде. -- **UI-метка «ответ по неполным данным»** — если последний шаг был принудительным, - можно прокинуть флажок в metadata и показать бейдж в `message-list.tsx`. Не - обязательно для базовой фичи. - -## Открытые вопросы (согласовать перед реализацией) - -- [ ] Значение лимита: 20 — ок? (компромисс «глубина исследования» vs стоимость - токенов на ход.) -- [ ] Текст `FINAL_STEP_INSTRUCTION` — устраивает формулировка? Язык ответа - модель выбирает сама по контексту; инструкция на английском как и весь - системный промпт. -- [ ] Выносить ли логику шага в чистую функцию ради юнит-теста (рекомендуется), - или оставить инлайн в `prepareStep` без отдельного теста. - -## Процесс - -- Сейчас это только план; код НЕ менялся. -- Реализация — режим делегирования (по умолчанию): изменение логическое - (новый `prepareStep` + константы, >5 строк) → general-purpose кодеру, затем - обязательный прогон `review`. -- Не коммитить; в конце предложить сообщение коммита. From 394d3e58fcc7a2f8aad40302d8ccd010709300df Mon Sep 17 00:00:00 2001 From: "glm5.2 agent 180" Date: Sat, 20 Jun 2026 13:48:15 +0300 Subject: [PATCH 05/14] feat(ai-settings): rebind endpoint status dot to configured x enabled The header dot on each AI endpoint card (Chat / LLM, Embeddings, Voice / STT) used to reflect the last 'Test endpoint' probe result - green/red/ gray. That was misleading: a configured-and-enabled endpoint showed GRAY until someone manually clicked 'Test endpoint'. The dot now reads as the endpoint's health at a glance, derived synchronously from the live form values + the workspace feature toggle - never from a network probe. Four-state model (resolveCardStatus): ready (green) - configured AND enabled configured (yellow) - configured but the feature toggle is OFF off (gray) - not configured (nothing to enable) warning (orange) - enabled but not configured (a real misconfig: the feature is on but will not work; surfaced instead of hidden under gray) 'configured' = model field non-empty AND a base URL available (own OR inherited from chat for embeddings/STT). The API key is optional - local servers (Ollama, speaches) work without one. Source of truth is the live form.values so the dot reacts as the admin types; the persistent feature toggles drive the enabled axis. The 'Test endpoint' probe result stays as text under the button - it just no longer paints the dot. A Tooltip with a human-readable label wraps the dot so the state is not color-only (colorblind-friendly). resolveCardStatus is exported and covered by a Vitest spec (4 cases, including the misconfig branch). --- .../public/locales/en-US/translation.json | 4 + .../components/ai-provider-settings.spec.tsx | 20 ++++ .../components/ai-provider-settings.tsx | 104 ++++++++++++------ 3 files changed, 97 insertions(+), 31 deletions(-) create mode 100644 apps/client/src/features/workspace/components/settings/components/ai-provider-settings.spec.tsx diff --git a/apps/client/public/locales/en-US/translation.json b/apps/client/public/locales/en-US/translation.json index 21f7c5f7..4405032f 100644 --- a/apps/client/public/locales/en-US/translation.json +++ b/apps/client/public/locales/en-US/translation.json @@ -1162,6 +1162,10 @@ "Voice dictation is not available yet.": "Voice dictation is not available yet.", "Test endpoint": "Test endpoint", "Save endpoints": "Save endpoints", + "Configured and enabled": "Configured and enabled", + "Configured but disabled": "Configured but disabled", + "Enabled but not configured": "Enabled but not configured", + "Not configured": "Not configured", "External tools": "External tools", "Gitmost as MCP client": "Gitmost as MCP client", "Servers the agent calls out to.": "Servers the agent calls out to.", diff --git a/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.spec.tsx b/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.spec.tsx new file mode 100644 index 00000000..4bc479bc --- /dev/null +++ b/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.spec.tsx @@ -0,0 +1,20 @@ +import { describe, it, expect } from 'vitest'; +import { resolveCardStatus } from './ai-provider-settings'; + +describe('resolveCardStatus', () => { + it('returns "off" when not configured and not enabled', () => { + expect(resolveCardStatus(false, false)).toBe('off'); + }); + + it('returns "warning" when enabled but not configured (misconfig, not silent "off")', () => { + expect(resolveCardStatus(false, true)).toBe('warning'); + }); + + it('returns "configured" when configured but disabled', () => { + expect(resolveCardStatus(true, false)).toBe('configured'); + }); + + it('returns "ready" when configured and enabled', () => { + expect(resolveCardStatus(true, true)).toBe('ready'); + }); +}); diff --git a/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.tsx b/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.tsx index 78727bda..de3379f8 100644 --- a/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.tsx +++ b/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.tsx @@ -15,6 +15,7 @@ import { Text, Textarea, TextInput, + Tooltip, useMantineTheme, } from "@mantine/core"; import { useForm } from "@mantine/form"; @@ -60,8 +61,15 @@ const formSchema = z.object({ type FormValues = z.infer; -// Status of an endpoint card, drives the little status dot color. -type CardStatus = "ok" | "error" | "idle"; +// Four-state endpoint health shown by the header dot. Derived synchronously +// from the form values + feature toggle — never from a network probe (the +// "Test endpoint" button still surfaces the live probe result as text). +// "ready" (green) — required fields filled AND the feature is ON +// "configured"(yellow) — required fields filled but the feature is OFF +// "off" (gray) — required fields missing (nothing to enable) +// "warning" (orange) — feature is ON but required fields are missing +// (a real misconfiguration: it won't work as-is) +type CardStatus = "ready" | "configured" | "off" | "warning"; // Resolve a "Base URL + path" hint defensively: trim a single trailing slash // off the base, then append the path. Empty base falls back to `fallback` @@ -71,21 +79,53 @@ function resolveUrl(base: string, path: string, fallback = ""): string { return `${trimmed}${path}`; } -// Small colored dot used in each card header. -function StatusDot({ status }: { status: CardStatus }) { +// Pure + unit-testable. `configured` = the endpoint has the fields it needs +// to work; `enabled` = the workspace feature toggle for this endpoint is ON. +// The "enabled && !configured" case is surfaced as "warning" instead of "off" +// so a misconfiguration (feature on, endpoint not filled) is not hidden. +export function resolveCardStatus( + configured: boolean, + enabled: boolean, +): CardStatus { + if (configured) return enabled ? "ready" : "configured"; + return enabled ? "warning" : "off"; +} + +// Translate the dot's tooltip label. Kept in one place so all three endpoint +// cards share identical wording. +function cardStatusLabel(status: CardStatus, t: (k: string) => string): string { + switch (status) { + case "ready": + return t("Configured and enabled"); + case "configured": + return t("Configured but disabled"); + case "warning": + return t("Enabled but not configured"); + default: + return t("Not configured"); + } +} + +// Small colored dot used in each card header, with a tooltip label so the +// state is readable without relying on color alone (colorblind access). +function StatusDot({ status, label }: { status: CardStatus; label: string }) { const theme = useMantineTheme(); const color = - status === "ok" + status === "ready" ? theme.colors.green[6] - : status === "error" - ? theme.colors.red[6] - : theme.colors.gray[5]; + : status === "configured" + ? theme.colors.yellow[6] + : status === "warning" + ? theme.colors.orange[6] + : theme.colors.gray[5]; return ( - + + + ); } @@ -353,21 +393,23 @@ export default function AiProviderSettings() { ); } - const chatStatus: CardStatus = chatTest.data - ? chatTest.data.ok - ? "ok" - : "error" - : "idle"; - const embedStatus: CardStatus = embedTest.data - ? embedTest.data.ok - ? "ok" - : "error" - : "idle"; - const sttStatus: CardStatus = sttTest.data - ? sttTest.data.ok - ? "ok" - : "error" - : "idle"; + // Per-endpoint "configured" predicate, derived from the LIVE form values + // (the dot reacts as the admin types). A key is NOT required — local + // servers (Ollama, speaches) work without one. Embeddings and Voice + // inherit the chat base URL when their own is empty (see resolveUrl). + const v = form.values; + const chatBase = v.baseUrl.trim(); + const chatConfigured = v.chatModel.trim() !== "" && chatBase !== ""; + const embedConfigured = + v.embeddingModel.trim() !== "" && + (v.embeddingBaseUrl.trim() !== "" || chatBase !== ""); + const sttConfigured = + v.sttModel.trim() !== "" && + (v.sttBaseUrl.trim() !== "" || chatBase !== ""); + + const chatStatus = resolveCardStatus(chatConfigured, chatEnabled); + const embedStatus = resolveCardStatus(embedConfigured, searchEnabled); + const sttStatus = resolveCardStatus(sttConfigured, dictationEnabled); const chatResolved = resolveUrl(form.values.baseUrl, "/chat/completions"); const embedResolved = resolveUrl( @@ -404,7 +446,7 @@ export default function AiProviderSettings() { - + {t("Chat / LLM")} {t("root")} @@ -514,7 +556,7 @@ export default function AiProviderSettings() { - + {t("Embeddings")} - + {t("Voice / STT")} Date: Sat, 20 Jun 2026 13:52:26 +0300 Subject: [PATCH 06/14] feat(ai-settings): put Clear inside the API key field, drop the eye The PasswordInput for each endpoint API key (Chat / LLM, Embeddings, Voice / STT) used to show Mantine's built-in visibility toggle (the 'eye') plus a separate 'Clear' link below the field. The eye is useless here: the key field is a write-only buffer, the stored key never loads back (the server only returns hasApiKey), so clicking the eye reveals an empty buffer. Replace it with a Clear ActionIcon in the field's right section. Passing a custom rightSection suppresses the built-in eye (Mantine). The Clear action appears ONLY when a key is stored AND the buffer is empty (has*ApiKey && form.values.*ApiKey.length === 0); as soon as the user starts typing a new key, the rightSection falls back to undefined and the default eye returns - now it is useful (verify what was typed). After Clear, the handler sets has*ApiKey=false, so the rightSection flips back too. Self-consistent. The old Stack wrapper and Anchor 'Clear' link are gone; Anchor is removed from the @mantine/core import (no remaining usages). The Clear icon-only button carries type='button' (never submits) and an aria-label. The two-column 'Model | API key' layout and the write-only buffer/handler semantics are unchanged. --- .../components/ai-provider-settings.tsx | 156 +++++++++++------- 1 file changed, 95 insertions(+), 61 deletions(-) diff --git a/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.tsx b/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.tsx index 78727bda..360dc6db 100644 --- a/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.tsx +++ b/apps/client/src/features/workspace/components/settings/components/ai-provider-settings.tsx @@ -1,7 +1,7 @@ import { useEffect, useState } from "react"; import { z } from "zod/v4"; import { - Anchor, + ActionIcon, Badge, Box, Button, @@ -15,12 +15,13 @@ import { Text, Textarea, TextInput, + Tooltip, useMantineTheme, } from "@mantine/core"; import { useForm } from "@mantine/form"; import { useDisclosure } from "@mantine/hooks"; import { zod4Resolver } from "mantine-form-zod-resolver"; -import { IconPencil } from "@tabler/icons-react"; +import { IconPencil, IconX } from "@tabler/icons-react"; import { useAtom } from "jotai"; import { notifications } from "@mantine/notifications"; import { useTranslation } from "react-i18next"; @@ -430,19 +431,34 @@ export default function AiProviderSettings() { disabled={isLoading} {...form.getInputProps("chatModel")} /> - - - {hasApiKey && ( - - {t("Clear")} - - )} - + {/* The key field is write-only: the stored key never loads back, so the + built-in visibility toggle reveals nothing. Replace it with a Clear + action in the right section. Passing rightSection suppresses the eye + (Mantine). While typing a new key (buffer non-empty) fall back to + the default eye so the user can verify what they typed. */} + + + + + + ) : undefined + } + rightSectionPointerEvents="all" + {...form.getInputProps("apiKey")} + /> - - - {hasEmbeddingApiKey && ( - - {t("Clear")} - - )} - + {/* The key field is write-only: the stored key never loads back, so the + built-in visibility toggle reveals nothing. Replace it with a Clear + action in the right section. Passing rightSection suppresses the eye + (Mantine). While typing a new key (buffer non-empty) fall back to + the default eye so the user can verify what they typed. */} + + + + + + ) : undefined + } + rightSectionPointerEvents="all" + {...form.getInputProps("embeddingApiKey")} + /> - - - {hasSttApiKey && ( - - {t("Clear")} - - )} - + {/* The key field is write-only: the stored key never loads back, so the + built-in visibility toggle reveals nothing. Replace it with a Clear + action in the right section. Passing rightSection suppresses the eye + (Mantine). While typing a new key (buffer non-empty) fall back to + the default eye so the user can verify what they typed. */} + + + + + + ) : undefined + } + rightSectionPointerEvents="all" + {...form.getInputProps("sttApiKey")} + />