Skip to content
Merged
Show file tree
Hide file tree
Changes from 4 commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
15 changes: 10 additions & 5 deletions docs-site/src/content/docs/fr/guides/sidecars.md
Original file line number Diff line number Diff line change
Expand Up @@ -85,9 +85,14 @@ les échecs de génération postérieurs à l'envoi des en-têtes sont transmis

## Service auxiliaire de vision

Lorsque le modèle routé est répertorié dans le `noVisionModels` de son fournisseur et qu'une requête porte une image,
opencodex décrit chaque image **avant** l'appel principal et la remplace par du texte. Quand
si `visionSidecar.model` est absent ou vide, le chemin d'exécution OpenAI, le tableau de bord et l'API de gestion
Lorsqu'un modèle routé figure dans le `noVisionModels` de son fournisseur — ou est déclaré texte seul pour ce modèle
via `modelInputModalities` — et qu'une requête porte une image, opencodex décrit chaque image **avant** l'appel principal
et la remplace par du texte, à condition qu'un plan de sidecar vision soit disponible. Sans plan disponible, l'image brute
est supprimée au lieu d'être transmise à un backend texte seul. Le catalogue de modèles annonce l'entrée image pour chaque
modèle couvert par le sidecar. Les combos annoncent l'entrée image seulement lorsque chaque membre accepte les images,
nativement ou via un sidecar, et que le paramètre `imageInput` du combo n'est pas désactivé, afin que des clients comme
l'application Codex autorisent les pièces jointes au lieu de les bloquer avant l'exécution du sidecar. Lorsque
`visionSidecar.model` est absent ou vide, le chemin d'exécution OpenAI, le tableau de bord et l'API de gestion
utilisent le modèle de repli `gpt-5.4-mini`. Au démarrage, une ancienne valeur `gpt-5.4-mini` explicitement enregistrée
est toujours migrée vers `gpt-5.6-luna` ; cette migration s'applique à une valeur stockée, et non à l'absence du
champ du modèle.
Expand All @@ -108,8 +113,8 @@ champ du modèle.
les images distantes `https` sont récupérées par le moteur OpenAI, et non par le proxy.
- La correspondance `noVisionModels` ignore un suffixe `:size` de style Ollama, donc une entrée `gpt-oss` couvre également
`gpt-oss:120b`.
- Si la description échoue, le modèle reçoit un bref marqueur d'erreur de traitement. Si aucun service auxiliaire n'est
disponible, l'image brute est supprimée plutôt que transmise à un moteur limité au texte.
- Si la description échoue, le modèle reçoit un bref marqueur d'erreur de traitement. (Sans plan de sidecar disponible,
aucune description n'est tentée : l'image brute est supprimée comme indiqué ci-dessus.)
- `maxDescriptionsPerTurn` (8 par défaut) limite les nouvelles descriptions par tour du modèle principal. Les résultats du cache et
les doublons au même tour ne le consomment pas. Les descriptions d'images `data:` réussies sont mises en cache par
moteur, modèle, niveau de détail, octets de l'image et contexte du message — ainsi que l'effort de raisonnement dans les
Expand Down
14 changes: 10 additions & 4 deletions docs-site/src/content/docs/guides/sidecars.md
Original file line number Diff line number Diff line change
Expand Up @@ -123,8 +123,14 @@ failures after response headers have started are delivered as `response.failed`

## Vision sidecar

When the routed model is listed in its provider's `noVisionModels` and a request carries an image,
opencodex describes each image **before** the main call and replaces it with text. When
When the routed model is listed in its provider's `noVisionModels` — or declared text-only for
that model via `modelInputModalities` — and a request carries an image, opencodex describes each
Comment thread
lidge-jun marked this conversation as resolved.
image **before** the main call and replaces it with text, provided a vision sidecar plan is
available. Without an available plan the raw image is stripped rather than forwarded to a
text-only backend. The model catalog advertises image input for every sidecar-covered model.
Combos advertise image input only when every member accepts images, either natively or through a
sidecar, and the combo's `imageInput` setting is not disabled, so clients such as the Codex app
allow attachments instead of blocking them before the sidecar runs. When
`visionSidecar.model` is absent or blank, the OpenAI execution path, Dashboard, and management API
use the `gpt-5.4-mini` fallback. Startup still migrates an explicitly persisted legacy
`gpt-5.4-mini` value to `gpt-5.6-luna`; that migration applies to a stored value, not to an absent
Expand All @@ -146,8 +152,8 @@ model field.
remote `https` images are fetched by the OpenAI backend, not by the proxy.
- `noVisionModels` matching ignores an Ollama-style `:size` suffix, so a `gpt-oss` entry also covers
`gpt-oss:120b`.
- If description fails, the model receives a short processing-error marker. If no sidecar plan is
available, the raw image is stripped rather than forwarded to a text-only backend.
- If description fails, the model receives a short processing-error marker. (Without an available
sidecar plan, no description is attempted — the raw image is stripped, as described above.)
- `maxDescriptionsPerTurn` (default 8) limits new descriptions per main-model turn. Cache hits and
same-turn duplicates do not consume it. Successful `data:` image descriptions are cached by
backend, model, detail, image bytes, and message context — plus the reasoning effort on OpenAI
Expand Down
13 changes: 9 additions & 4 deletions docs-site/src/content/docs/ja/guides/sidecars.md
Original file line number Diff line number Diff line change
Expand Up @@ -69,8 +69,13 @@ stall は全体生成 timeout ではありません。SSE 開始前の失敗は

## ビジョンサイドカー

ルーティングモデルが該当プロバイダーの `noVisionModels` にありリクエストに画像が来る場合、opencodex は
メイン呼び出し**前に**各画像を説明したテキストに差し替えます。`visionSidecar.model` が未設定または空の場合、
ルーティングモデルが該当プロバイダーの `noVisionModels` にある、またはそのモデルが
`modelInputModalities` でテキスト専用と宣言され、リクエストに画像が来る場合、opencodex は利用可能な
ビジョンサイドカー計画があるときに限り、メイン呼び出し**前に**各画像を説明したテキストに差し替えます。
計画が利用できない場合は、生の画像をテキスト専用バックエンドへ転送せず削除します。モデルカタログは
サイドカー対象の各モデルに画像入力を広告します。コンボは、すべてのメンバーがネイティブまたはサイドカーを
通じて画像を受け入れ、かつコンボの `imageInput` 設定が無効でない場合にのみ画像入力を広告します。これにより
Codex アプリなどのクライアントは、サイドカー実行前に添付をブロックせず許可できます。`visionSidecar.model` が未設定または空の場合、
OpenAI 実行経路、ダッシュボード、管理 API は `gpt-5.4-mini` をフォールバックとして使います。起動時には
明示的に保存された旧 `gpt-5.4-mini` 値を引き続き `gpt-5.6-luna` にマイグレーションしますが、この
マイグレーションは保存済みの値だけが対象で、モデルフィールドがない場合には適用されません。
Expand All @@ -92,8 +97,8 @@ OpenAI 実行経路、ダッシュボード、管理 API は `gpt-5.4-mini` を
リモート `https` 画像はプロキシではなく OpenAI バックエンドが取得します。
- `noVisionModels` 比較は Ollama 式の `:size` 接尾辞を無視するため `gpt-oss` 項目 1 つで
`gpt-oss:120b` も処理できます。
- 画像説明が失敗すると短い処理エラー案内文をモデルに渡します。サイドカー計画自体を作れない場合は
テキスト専用バックエンドに元画像を送らず削除します。
- 画像説明が失敗すると短い処理エラー案内文をモデルに渡します。(利用可能なサイドカー計画がない場合は
説明を試みず、上記のとおり元画像を削除します。)
- `maxDescriptionsPerTurn`(デフォルト 8)はメインモデル 1 ターンで新規実行する説明数を制限します。キャッシュ
ヒットと同じターンの重複要求は限度を消費しません。成功した `data:` 画像説明はバックエンド、モデル、
detail、画像バイト、メッセージ文脈を基準にキャッシュし、OpenAI のキーには推論負荷も含まれます
Expand Down
13 changes: 9 additions & 4 deletions docs-site/src/content/docs/ko/guides/sidecars.md
Original file line number Diff line number Diff line change
Expand Up @@ -71,8 +71,13 @@ stall은 전체 생성 timeout이 아닙니다. SSE가 시작되기 전 실패

## 비전 사이드카

라우팅 모델이 해당 프로바이더의 `noVisionModels`에 있고 요청에 이미지가 들어오면, opencodex는
메인 호출 **전에** 각 이미지를 설명한 텍스트로 바꿉니다. `visionSidecar.model`이 없거나 빈 값이면
라우팅 모델이 해당 프로바이더의 `noVisionModels`에 있거나 해당 모델이 `modelInputModalities`에서
텍스트 전용으로 선언되어 있고 요청에 이미지가 들어오면, opencodex는 사용 가능한 비전 사이드카 계획이 있을 때에만
메인 호출 **전에** 각 이미지를 설명한 텍스트로 바꿉니다. 사용 가능한 계획이 없으면 원본 이미지는 텍스트 전용
백엔드로 전달되지 않고 제거됩니다. 모델 카탈로그는 사이드카로 처리되는 모든 모델에 image input을 알립니다.
콤보는 모든 멤버가 네이티브로 또는 사이드카를 통해 이미지를 수용하고 콤보의 `imageInput` 설정이 비활성화되지 않은
경우에만 image input을 알립니다. 따라서 Codex 앱 같은 클라이언트는 사이드카가 실행되기 전에 첨부를 차단하지 않고 허용합니다.
`visionSidecar.model`이 없거나 빈 값이면
OpenAI 실행 경로, Dashboard, 관리 API는 `gpt-5.4-mini`를 폴백으로 사용합니다. 시작 시 명시적으로
저장된 기존 `gpt-5.4-mini` 값은 계속 `gpt-5.6-luna`로 마이그레이션되지만, 이 마이그레이션은 저장된
값에만 적용되고 모델 필드가 없는 경우에는 적용되지 않습니다.
Expand All @@ -94,8 +99,8 @@ OpenAI 실행 경로, Dashboard, 관리 API는 `gpt-5.4-mini`를 폴백으로
원격 `https` 이미지는 프록시가 아니라 OpenAI 백엔드가 가져옵니다.
- `noVisionModels` 비교는 Ollama식 `:size` 접미사를 무시하므로 `gpt-oss` 항목 하나로
`gpt-oss:120b`도 처리할 수 있습니다.
- 이미지 설명이 실패하면 짧은 처리 오류 안내문을 모델에 전달합니다. 사이드카 계획 자체를 만들 수
없으면 텍스트 전용 백엔드에 원본 이미지를 보내지 않고 제거합니다.
- 이미지 설명이 실패하면 짧은 처리 오류 안내문을 모델에 전달합니다. (사용 가능한 사이드카 계획이 없으면
설명을 시도하지 않고 위에서 설명한 대로 원본 이미지를 제거합니다.)
- `maxDescriptionsPerTurn`(기본값 8)은 메인 모델 한 턴에서 새로 실행할 설명 수를 제한합니다. 캐시
적중과 같은 턴의 중복 요청은 한도를 쓰지 않습니다. 성공한 `data:` 이미지 설명은 백엔드, 모델,
detail, 이미지 바이트, 메시지 문맥을 기준으로 캐시하며, OpenAI 키에는 추론 강도도 포함됩니다
Expand Down
15 changes: 10 additions & 5 deletions docs-site/src/content/docs/ru/guides/sidecars.md
Original file line number Diff line number Diff line change
Expand Up @@ -80,9 +80,14 @@ SSE-событие `response.failed`.

## Vision-сайдкар

Когда маршрутизируемая модель указана в `noVisionModels` своего провайдера, а запрос содержит
изображение, opencodex описывает каждое изображение **до** основного вызова и заменяет его текстом.
Если `visionSidecar.model` отсутствует или пуст, путь выполнения OpenAI, дашборд и API управления
Когда маршрутизируемая модель указана в `noVisionModels` своего провайдера — либо для неё в
`modelInputModalities` явно указана только текстовая модальность — и запрос содержит изображение,
opencodex описывает каждое изображение **до** основного вызова и заменяет его текстом, если доступен
план vision-сайдкара. Без доступного плана исходное изображение удаляется, а не передаётся текстовому
бэкенду. Каталог моделей объявляет вход изображений для каждой модели, покрытой сайдкаром. Комбо
объявляют вход изображений только если каждый участник принимает изображения нативно или через
сайдкар и параметр комбо `imageInput` не отключён; поэтому такие клиенты, как приложение Codex,
разрешают вложения вместо их блокировки до запуска сайдкара. Если `visionSidecar.model` отсутствует или пуст, путь выполнения OpenAI, дашборд и API управления
используют фолбэк `gpt-5.4-mini`. При запуске явно сохранённое устаревшее значение
`gpt-5.4-mini` по-прежнему мигрирует на `gpt-5.6-luna`; миграция применяется только к сохранённому
значению, а не к отсутствующему полю модели.
Expand All @@ -106,8 +111,8 @@ SSE-событие `response.failed`.
`data:` и `https:`; удалённые `https`-изображения загружает бэкенд OpenAI, а не прокси.
- Сопоставление `noVisionModels` игнорирует суффикс `:size` в стиле Ollama, поэтому запись
`gpt-oss` покрывает и `gpt-oss:120b`.
- Если описание не удалось, модель получает короткий маркер ошибки обработки. Если план сайдкара
недоступен, исходное изображение удаляется, а не пересылается текстовому бэкенду.
- Если описание не удалось, модель получает короткий маркер ошибки обработки. (Если доступного плана
сайдкара нет, описание не запускается, а исходное изображение удаляется, как описано выше.)
- `maxDescriptionsPerTurn` (по умолчанию 8) ограничивает число новых описаний за один ход основной
модели. Попадания в кэш и дубликаты в рамках того же хода лимит не расходуют. Успешные описания
`data:`-изображений кэшируются по бэкенду, модели, детализации, байтам изображения и контексту
Expand Down
19 changes: 12 additions & 7 deletions docs-site/src/content/docs/tr/guides/sidecars.md
Original file line number Diff line number Diff line change
Expand Up @@ -103,9 +103,16 @@ durma, toplam bir üretim zaman aşımı değildir. SSE başlamadan önceki arı

## Vizyon sidecar'ı

Yönlendirilen model sağlayıcısının `noVisionModels` listesinde yer aldığında ve
bir istek görsel taşıdığında, opencodex ana çağrıdan **önce** her görseli
açıklar ve onu metinle değiştirir. `visionSidecar.model` olmadığında veya boş
Yönlendirilen model sağlayıcısının `noVisionModels` listesinde yer aldığında ya da
bu model için `modelInputModalities` ile salt metin olarak bildirildiğinde ve bir
istek görsel taşıdığında, opencodex kullanılabilir bir vision sidecar planı varsa
ana çağrıdan **önce** her görseli açıklar ve onu metinle değiştirir. Kullanılabilir
bir plan yoksa ham görsel salt metin arka ucuna iletilmek yerine kaldırılır. Model
kataloğu sidecar kapsamında olan her model için görsel girdisini bildirir. Kombolar,
her üye görselleri yerel olarak veya bir sidecar üzerinden kabul ettiğinde ve kombonun
`imageInput` ayarı devre dışı olmadığında görsel girdisini bildirir; böylece Codex
uygulaması gibi istemciler, sidecar çalışmadan önce ekleri engellemek yerine kabul eder.
`visionSidecar.model` olmadığında veya boş
olduğunda, OpenAI yürütme yolu, Kontrol Paneli ve yönetim API'si `gpt-5.4-mini`
geri dönüşünü kullanır. Başlangıç hala açıkça kalıcı hale getirilmiş eski bir
`gpt-5.4-mini` değerini `gpt-5.6-luna`'ya geçirir; bu geçiş, bulunmayan bir
Expand Down Expand Up @@ -135,9 +142,8 @@ model alanına değil, saklanan bir değere uygulanır.
görselleri proxy tarafından değil, OpenAI arka ucu tarafından getirilir.
- `noVisionModels` eşleştirmesi Ollama tarzı bir `:size` sonekini yok sayar, bu
nedenle bir `gpt-oss` girdisi `gpt-oss:120b`'yi de kapsar.
- Açıklama başarısız olursa model kısa bir işleme hatası işaretçisi alır.
Kullanılabilir hiçbir sidecar planı yoksa ham görsel salt metin bir arka uca
iletilmek yerine kaldırılır.
- Açıklama başarısız olursa model kısa bir işleme hatası işaretçisi alır. (Kullanılabilir bir
sidecar planı yoksa açıklama denenmez; ham görsel yukarıda belirtildiği gibi kaldırılır.)
- `maxDescriptionsPerTurn` (varsayılan 8), ana model turu başına yeni
açıklamaları sınırlar. Önbellek isabetleri ve aynı turdaki kopyalar bunu
tüketmez. Başarılı `data:` görsel açıklamaları arka uç, model, ayrıntı, görsel
Expand Down Expand Up @@ -197,4 +203,3 @@ hedeflenen hesap ve iş yükü ile kapsamlı bir şekilde test edilmelidir.

Her alan için [Yapılandırma referansı](/tr/reference/configuration/#sidecars)
bölümüne bakın.

11 changes: 7 additions & 4 deletions docs-site/src/content/docs/zh-cn/guides/sidecars.md
Original file line number Diff line number Diff line change
Expand Up @@ -64,8 +64,11 @@ OAuth 账户时使用 `anthropic`,否则使用 `openai`。显式选择 `anthro

## Vision sidecar

当路由模型列在其 provider 的 `noVisionModels` 中,并且请求包含图像时,opencodex 会在主调用
**之前**描述每张图像,并用文字替换图像。当 `visionSidecar.model` 缺失或为空时,OpenAI 执行路径、
当路由模型列在其 provider 的 `noVisionModels` 中,或该模型在 `modelInputModalities` 中被声明为仅文本,
并且请求包含图像时,只要有可用的 vision sidecar plan,opencodex 就会在主调用**之前**描述每张图像并用文字替换图像。
如果没有可用 plan,原始图像会被移除,而不会继续转发给纯文本后端。模型目录会为每个由 sidecar 覆盖的模型声明图像输入。
只有当每个 combo 成员都能原生或通过 sidecar 接受图像、且 combo 的 `imageInput` 设置未禁用时,combo 才会声明图像输入;
这样 Codex 应用等客户端会允许附件,而不会在 sidecar 运行前阻止它们。当 `visionSidecar.model` 缺失或为空时,OpenAI 执行路径、
Dashboard 和管理 API 都使用 `gpt-5.4-mini` 作为回退。启动时仍会把明确保存的旧
`gpt-5.4-mini` 值迁移到 `gpt-5.6-luna`;该迁移只作用于已保存值,不适用于缺失的 model 字段。

Expand All @@ -83,8 +86,8 @@ Dashboard 和管理 API 都使用 `gpt-5.4-mini` 作为回退。启动时仍会
而不是代理。
- `noVisionModels` 匹配会忽略 Ollama 风格的 `:size` 后缀,因此一个 `gpt-oss` 条目也能覆盖
`gpt-oss:120b`。
- 如果描述失败,模型会收到简短的处理错误提示。若根本无法建立 sidecar plan,原始图像会被
移除,而不会继续转发给纯文本后端。
- 如果描述失败,模型会收到简短的处理错误提示。(如果没有可用的 sidecar plan,则不会尝试描述,
原始图像会按上文所述被移除。)
- `maxDescriptionsPerTurn`(默认 8)限制每个主模型 turn 的新增描述次数。缓存命中和同一 turn
的重复请求不会消耗配额。成功的 `data:` 图像描述会按后端、模型、detail、图像字节和消息上下文
缓存;OpenAI 的缓存键还会额外包含推理强度(Anthropic 键不含,因为该字段在那里被忽略)。
Expand Down
Loading
Loading