Скриншоты и визуальная проверка
Сочетайте чтение данных, реальные изображения и проверки макета слайдов.
Визуальный осмотр преобразует контентную модель в изображения и доказательства макета, которые можно исследовать. Агент сначала проверяет данные и формулы, затем исследует визуализированный текст, формы и страницы. Когда он находит проблему, он корректирует контент через Фасад и снова исследует полученное состояние.
Три вида доказательств
| Доказательство | Что проверяет |
|---|---|
| Структурированное чтение | Сырые значения, формулы и их результаты, а также свойства абзаца и объекта. |
| PNG | Контент, который действительно виден, включая обрезки, диаграммы, цвета и общую композицию. |
| Диагностика раскладки | Правила, идентификаторы объектов, границы и места выдачи, полученные из рендеринга, которые идентифицируют объект для исправления. |
Подготовка состояния и зависимостей
Скриншот и Layout Lint работают на материализованном UnitData. Они не подключаются к удаленной цели, и они не интерпретируют изменения. Для совместного контента звоните pull(), дождитесь завершения расчета после редактирования формулы, а затем звоните exportUnitData()... В Worktree экспортируйте проект, который предназначен для проверки. Приложение может записывать цель, пересмотр и область вместе с отчетом, так что обзор относится к одному известному состоянию.
Хост-снимок Snapshot не включает в себя все зависимости. Источники паспорта и реляционной таблицы через formulaReferenceUnits и передают контент для детей через embeddedUnits. Страница Рендера материализует зависимости перед хостом, поэтому формулы и блоки загружаются с уже имеющимися источниками. Активы изображения UUID могут быть подготовлены с помощью resolveUnitScreenshotImageAssets(), а также с помощью разрешающего устройства из приложения. Разрешение является лучшим усилием, поэтому отсутствующие ресурсы также требуют проверки.
От содержимого к стабильному изображению
univer-render-runtime размещает Страницу Рендера, построенную приложением, и запускает браузер от Node.js. Плагины продукта восстанавливают содержимое на этой странице, и обе стороны проверяют версию протокола страницы. Время выполнения выполняет свои операции через одну последовательную очередь, поэтому одно и то же время выполнения может быть сохранено через раунды проверки. Владелец Runtime звонит close(), когда работа завершена.
Готовность зависит от продукта. Формы, управляемые формулой, ждут, пока результаты не останутся в ожидании, и, при необходимости, пока пиксели не останутся неизменными в кадрах, так что переходная анимация не будет захвачена. Относительная таблица ждет шрифтов, вычисления, активной таблицы или просмотра, а также стабильной компоновки DOM и Canvas. Результат формулы, который остался в ожидании может быть ошибкой, поэтому и его значение, и его статус требуют проверки.
Текущая реализация хэширует серийный хост UnitData, источники формул и встроенных детей в ключ сеанса рендеринга.Измененный контент получает новый ключ даже тогда, когда идентификатор Unit остается прежним, поэтому старое изображение никогда не используется повторно только потому, что идентификатор совпадает.
Выбор области по продукту
| Продукт | Область и результат |
|---|---|
| Sheet | Выберите таблицу и диапазон A1 для получения области PNG. Выберите важные результаты явно. |
| Doc | Выберите страницы или перечислите их, чтобы получить один PNG на страницу. |
| Slide | Выберите 1-значные номера страниц или идентификаторы страниц и необязательно добавьте контактный лист. |
| Relational Table | Захват рабочего стола по мере его открытия, включая его активную таблицу или вид, из браузера DOM и Canvas. |
| Canvases | Используйте границы содержимого или селектор регион / элемент Ids; оба являются взаимоисключающими. Доказательства подкладки и макета являются необязательными. |
unit-screenshot возвращает байты изображения, размеры, идентификатор страницы или диапазона и предлагает имена файлов; приложение сохраняет их. Коэффициент масштаба принимает 0,1-4. Набор maxPages и изображение maxPixels. Удвоение масштаба производит примерно в четыре раза больше пикселей, поэтому проверяйте большой контент в регионах. PDF находится за пределами этой точки входа скриншота, которая охватывает пять продуктов выше.
Общие данные для снимка и lint
В примере фиксируются и вводятся одни и те же данные Slide и источники формул. renderRuntime представляет собой существующий рендер Runtime, а slideData является подготовленным снимком. Ни одна из возможностей не записывает файлы. Для построения страницы и очистки ресурсов см. AI SDK Визуальный контроль.
import { createUnitScreenshot } from '@univer-cli/unit-screenshot'import { createUnitLayoutLint } from '@univer-cli/unit-layout-lint'const source = { unitType: 'slide' as const, unitData: slideData, formulaReferenceUnits,}const screenshot = createUnitScreenshot({ runtime: renderRuntime })const lint = createUnitLayoutLint({ runtime: renderRuntime })const capture = await screenshot.capture({ ...source, target: { kind: 'slide-pages', pages: [1], scale: 2 },})const report = await lint.lint({ ...source, pages: [1] })Slide: поиск проблем по границам глифов
Layout Lint работает на основе фактов макета, которые производит браузер. Коробка declared элемента описывает свою геометрию в модели, в то время как текст ink описывает область, которую фактически охватывают глифы, отображается в координаты страницы с макетом, выравниванием и вращением. Текстовый ящик, который помещается на странице, не доказывает, что его глифов подходит.
| Текущее правило | Основание |
|---|---|
text-off-page | Фактические текстовые чернила проходят через край страницы. |
text-escapes-container | Текст заметно переполняет подобранный непрозрачный контейнер, который меньше. |
text-overlaps-text | Две фактические области чернил текста существенно перекрываются. |
Отчет включает в себя coverage.pages и coverage.rules. Каждая находка несет в себе pageId, элемент id, text.ink и соответствующие доказательства overflow, container или other. Стабильный fingerprint упрощает сравнение между раундами ремонта. Находки в настоящее время являются предупреждениями и предназначены для чтения рядом со скриншотами. Пустой список означает только то, что выбранный объем не вызвал ни одного из этих правил.
Canvases: проверка отрисованных соединителей
Скриншоты холстов также возвращают layoutAnalysis, который содержит маршруты, разрешенные браузером, проблемы и резюме. Это отдельно от unit-layout-lint , который обрабатывает только Slide. Автоматические пути разъема могут быть нерешенными в модели, поэтому проверьте окончательные маршруты через доказательства с source: 'rendered'.
Диагностика может идентифицировать разъемы, которые пересекают элементы или пересекаются, сталкивающиеся наконечники стрел и противоречивые метки, и сообщать о соответствующих connectorIds, elementIds и focusBounds. Корректировать вовлеченные объекты, захватывать область или набор элементов, а затем снова просматривать весь холст. Это связывает визуальную проблему с одним конкретным редактированием Фасада.
Передача доказательств
Сохраняйте структурированные результаты, объем и информацию о странице, изображения и диагностику вместе. Скриншот не устанавливает, что формулы верны, а линт не заменяет визуальное суждение. Взаимодействия, включающие панель инструментов, фокус и всплывающие окна, по-прежнему требуют проверки в веб-редакторе, и должны быть загружены зависимости кросс-Unit.
Запустите эти проверки до того, как Worktree пометят Ready, чтобы рецензент мог сопоставить изменения контента с доказательствами. См. безголовый и серверный расчет для исполнения и Агенты и автоматизация - для оркестровки.
Насколько полезно это руководство?