スクリーンショットと視覚検証
データの再取得、実際の描画画像、スライドのレイアウト検査を組み合わせます。
ビジュアル検査は、コンテンツモデルを画像やレイアウトの証拠に変換し、調べることができる。エージェントは、最初にデータと式を検証し、レンダリングされたテキスト、図形、およびページを調べます。問題が見つかった場合は、ファサードを通してコンテンツを補正し、その結果を再度確認します。
3 種類の証拠
| 証拠 | 確認できること |
|---|---|
| 構造化された読み戻し | 未加工値、式および結果および段落および目的の特性。 |
| PNG | クリップ、チャート、色、および全体的な構成を含む実際に見えるコンテンツ。 |
| レイアウト診断 | 規則、オブジェクトID、境界線、およびオブジェクトが正しいように特定するレンダーから派生する問題の場所。 |
内容状態と依存関係を準備する
スクリーンショットとLayout Lintは、材料化されたUnitDataで動作します。 彼らはリモートターゲットに接続せず、彼らはチェンジセットを解釈しません。 共同コンテンツの場合、pull()を呼び出し、計算を待ち合わせると、式編集後に完了し、その後、exportUnitData()を呼び出す。 Worktreeでは、検査のために意図されているドラフトをエクスポートします。 アプリケーションは、ターゲット、リビジョン、およびレポートと一緒にスコープを録音することができますので、その状態が1つを参照するために知られていることを確認することができます。
ホストスナップショットには、すべての依存関係は含まれていません。 formulaReferenceUnits を介してシートとリレーショナルテーブルソースを渡すと、embeddedUnitsを介して子コンテンツを渡すことができます。 Render Page はホストの前に依存関係を材料化します。そのため、すでにそのソースで数式とブロックロードを割り当てます。 UUID イメージアセットは resolveUnitScreenshotImageAssets()とアプリケーションからのリゾルダで準備できます。 解像度は最高です。そのため、リソースが検証も必要です。
内容から安定した画像へ
univer-render-runtimeはアプリケーションによって構築されたレンダリングページをホストし、Node.jsからブラウザを起動します。 製品のプラグインは、そのページ上のコンテンツを復元すると、両側はページプロトコルバージョンをチェックします。 実行時間は単一のシリアルキューを介してその操作を実行しますので、同じランタイムは検査ラウンドにわたって保持することができます。 作業が完了すると、ランタイムの所有者はclose()を呼び出します。
読みやすさは製品に依存します。 結果が終わるまで、フォーミュラ主導の形状が待ちます。必要に応じて、ピクセルはフレーム全体で変更されていないままになるまで、遷移アニメーションがキャプチャされていない。 リレーショナルテーブルは、フォント、計算、アクティブテーブル、ビュー、および安定したDOMとキャンバスレイアウトを待ちます。 式の結果は、残りパンディングがエラーになる可能性があるため、その値とステータスの両方が検証を必要とします。
現在の実装では、シリアル化されたホストUnitData、式ソース、および埋め込まれた子供をレンダーセッションキーにします。 変更されたコンテンツは、ユニットIDが同じままであっても新しいキーを受け取ります。そのため、IDが一致しているため、古い画像は完全に再利用されません。
製品ごとの範囲
| 製品 | 範囲と出力 |
|---|---|
| Sheet | ワークシートと A1 範囲を選択して、領域 PNG を取得します。重要な結果は明示的に選択します。 |
| Doc | ページを選択、またはページごとに1つのPNGを取得するためにそれらを列挙します。 |
| Slide | 1ページ番号またはページIDを選択し、必要に応じて連絡先シートを追加します。 |
| Relational Table | ブラウザ DOM と Canvas から、アクティブなテーブルやビューなど、ワークベンチを開かします。 |
| Canvases | コンテンツの境界、または地域/要素Idsセレクターを使用してください。 2つは相互に排他的です。 パディングとレイアウトの証拠はオプションです。 |
unit-screenshotは、画像バイト、寸法、ページまたは範囲のアイデンティティ、および提案されたファイル名を返します。アプリケーションはそれらを保存します。スケール要因は0.1〜4を受け入れます。 maxPagesと画像ごとのmaxPixelsを設定します。スケールを疑うと、ピクセルの約4回生成されるので、地域の大きなコンテンツを検査します。 PDFは、上記の5つの製品をカバーするこのスクリーンショットエントリポイントの外にあります。
スクリーンショットと Lint の共通入力
たとえば、同じスライドのデータと式ソースをキャプチャしてlintsします。 renderRuntimeは既存のレンダーランタイムであり、slideData は準備されたスナップショットです。 ネイザー機能はファイルを書きます。 ページ構造とリソースのクリーンアップについては、AI SDKの視覚点検を参照してください。
import { createUnitScreenshot } from '@univer-cli/unit-screenshot'import { createUnitLayoutLint } from '@univer-cli/unit-layout-lint'const source = { unitType: 'slide' as const, unitData: slideData, formulaReferenceUnits,}const screenshot = createUnitScreenshot({ runtime: renderRuntime })const lint = createUnitLayoutLint({ runtime: renderRuntime })const capture = await screenshot.capture({ ...source, target: { kind: 'slide-pages', pages: [1], scale: 2 },})const report = await lint.lint({ ...source, pages: [1] })Slide:字形の墨跡で問題を特定する
Layout Lintは、ブラウザが生成するレイアウトの事実から動作します。 要素のdeclaredボックスは、モデル内のジオメトリを記述していますが、テキストinkでは、グリフが実際にカバーする領域を説明し、レイアウト、アライメント、および回転でページ座標にマップされます。 ページに合ったテキストボックスは、そのグリフが収まることを証明していません。
| 現在の規則 | 検証内容 |
|---|---|
text-off-page | 実際のテキストインクは、ページエッジを貼り付けます。 |
text-escapes-container | テキストは、より小さいマッチした不透明容器を明らかにします。 |
text-overlaps-text | 2つの実際のテキストインク領域が大幅にオーバーラップします。 |
レポートには、 coverage.pages そして、 coverage.rules. 各調査結果は運びます pageId, 要素 id,, text.ink、および関連性 overflow, container, または other 証拠。 安定した fingerprint 修理ラウンドの比較を簡素化します。検索は現在警告であり、スクリーンショットと一緒に読むことを意図しています。空のリストは、選択したスコープがこれらの規則のどれもトリガーされたことを意味します。
Canvases:描画済みコネクター経路を確認する
キャンバスのスクリーンショットは、ブラウザ、問題、および要約によって解決されたルートを含むlayoutAnalysisも戻ります。 これは、スライドのみを処理するunit-layout-lintとは別です。 自動コネクタのパスは、モデルで解散される可能性があるため、source: 'rendered'で証拠を介して最終的なルートを調べます。
診断は、要素を横断したり、交差したり、矢印を衝突したり、ラベルを競合したりするコネクタを識別したり、対応するconnectorIds、elementIdsおよびfocusBoundsを報告したりすることができます。 関連するオブジェクトを修正し、領域や要素セットをキャプチャし、再びキャンバス全体を見直します。 これにより、特定のファサード編集に関する視覚的な懸念が高まります。
証拠を引き渡す
構造化された結果、スコープとページ情報、画像、および診断を一緒に保持します。スクリーンショットは、その式が正しいことを確立せず、lintは視覚的判断を置き換えません。ツールバー、フォーカス、ポップアップを含む相互作用は、Webエディタで検証を必要とし、およびクロスユニットの依存関係をロードする必要があります。
WorktreeがReadyにマークされる前に、これらのチェックを実行し、レビュアーがコンテンツが証拠に変化する可能性があるようにします。 実行用ヘッドレスとサーバーの計算およびエージェントと自動化を参照して、オーケストレーションを行います。
このガイドはいかがですか?