text chat: expose image input (enable multimodal M3, incl. multi-image)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 74/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bien especificado
- Estado de actividad
- Tranquilo
- Stack tecnológico
- typescript
Línea de trabajo
Comienza en src/commands/text/chat.ts, especialmente en parseMessages y el constructor del cuerpo del chat; después inspecciona src/utils/image.ts y el manejo existente de vision describe image. Añade una entrada de imágenes mediante rutas locales o URL que pueda repetirse, produzca Anthropic image blocks, admita varias imágenes y use MiniMax-M3 de forma predeterminada cuando sea necesario; el trabajo estará terminado cuando el chat de texto pueda enviar una o más imágenes sin un archivo messages JSON.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Summary
mmx text chat uses the multimodal MiniMax-M3 model by default, but the CLI exposes no image input flag. Users cannot send an image (let alone multiple images) to M3 through text chat without hand-writing a base64 messages JSON file. Since M3 is multimodal, this is a significant hidden capability.
Current behavior
mmx text chatonly accepts text:--message,--messages-file,--system. There is no--imageflag.parseMessages(src/commands/text/chat.ts) passescontentthrough asstring | ContentBlock[], so image blocks can reach the API via--messages-file— but the CLI does no image handling (no path→base64 conversion, unlikevision describe).- For single-image description there is
mmx vision describe(which hits/v1/coding_plan/vlm, single-image only). - No CLI path exists for multi-image input (compare/diff/joint analysis of 2+ images in one call), even though M3 supports it.
Expected behavior
A first-class image input on text chat, e.g.:
# single image
mmx text chat --model MiniMax-M3 --image ./photo.jpg --message "What breed is this dog?"
# multiple images (repeatable)
mmx text chat --model MiniMax-M3 \
--image ./before.png --image ./after.png \
--message "List every visual difference between these two."
The flag should accept local paths / http(s) URLs and auto base64-encode them (reusing toDataUri from src/utils/image.ts), then inject them as image content blocks alongside the text message.
Evidence — multi-image already works via M3
I verified that M3 accepts multiple images in one call through mmx text chat --messages-file. Example (CN region, API key auth):
node -e '
const fs = require("fs");
const img = (p) => ({ type: "image", source: { type: "base64", media_type: "image/png", data: fs.readFileSync(p).toString("base64") } });
fs.writeFileSync("/tmp/m.json", JSON.stringify([{
role: "user",
content: [
{ type: "text", text: "I am giving you TWO images. Describe one detail unique to each." },
img("/tmp/a.png"), img("/tmp/b.png")
]
}]));
'
mmx text chat --model MiniMax-M3 --messages-file /tmp/m.json --non-interactive --quiet
# → M3 correctly describes both images and distinguishes them
Format gotcha worth surfacing
mmx text chat posts to the Anthropic /messages endpoint (chatEndpoint returns ${baseUrl}/anthropic/v1/messages), not the OpenAI /chat/completions endpoint. So image content blocks must use the Anthropic shape:
// ❌ OpenAI shape — rejected: "unsupported content type 'image_url'"
{ "type": "image_url", "image_url": { "url": "data:..." } }
// ✅ Anthropic shape — works
{ "type": "image", "source": { "type": "base64", "media_type": "image/png", "data": "<base64>" } }
The OpenAI-compatible image format documented at https://platform.minimaxi.com/docs/api-reference/text-openai-api (type: "image_url") does not work through this CLI's text chat, because the CLI routes to the Anthropic endpoint. This mismatch took a while to debug — a --image flag that auto-formats correctly (or at least a doc note) would help a lot.
Suggested implementation
- Add a repeatable
--image <path-or-url>flag totext chat. - In
parseMessages/ the chat body builder, convert each--imageviatoDataUri, then append{ type: "image", source: { type: "base64", media_type, data } }blocks to the user message'scontent(convertingcontentfrom string to array when images are present). - When
--imageis present, default--modeltoMiniMax-M3if not set. - Optionally reuse the same
--imageflag on a futurevisionsubcommand for multi-image, since M3's chat path strictly supersedes the single-image/vlmendpoint for multi-image use cases.
Happy to open a PR if this design sounds reasonable.
- Lenguaje dominante
- TypeScript
- Estrellas
- 2.2k
- Forks
- 181
- Merge medio
- 9 h 4 min
- PR fusionados (30 d)
- 13
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de MiniMax-AI/cli
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
MiniMax-AI/cli#259 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
MiniMax-AI/cli#258 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
MiniMax-AI/cli#265 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
MiniMax-AI/cli#260 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 76/100
MiniMax-AI/cli#257 · 1 comentario ·
Todos los issues de MiniMax-AI/cli
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
bug v2
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
modelcontextprotocol/inspector#2458 · 1 comentario ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 75/100
railmapgen/rmp-gallery#4068 ·
-
Mend: dependency security vulnerability status: needs triage 🕵️♀️
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
carbon-design-system/ibm-products#9907 ·