Owner

EvolvingLMMs-Lab

已索引 14 个仓库 · 在 GitHub 查看

lmms-eval
One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks

Python · 4413 个 star
LLaVA-OneVision-2
Fully Open Framework for Democratized Multimodal Training

Python · 1206 个 star
NEO
NEO Series: Native Vision-Language Models from First Principles

Python · 891 个 star
lmms-engine
A simple, unified multimodal models training engine. Lean, flexible, and built for hacking at scale.

Python · 825 个 star
multimodal-search-r1
[ACL-2026] MMSearch-R1 is an end-to-end RL framework that enables LMMs to perform on-demand, multi-turn search with real-world multimodal...

Python · 486 个 star
OneVision-Encoder
Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence

Python · 400 个 star
lmms-lab-writer
Agentic LaTeX Writer - Local-first editor for AI-assisted academic writing

TypeScript · 272 个 star
LongVT
[CVPR 2026] LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling

Python · 266 个 star
SkillOpt-Lite
SkillOpt-Lite and HarnessOpt: Optimize your skill or harness with one line of vibe

Python · 187 个 star
SimpleStream
A simple video streaming baseline that outperforms SOTAs.

Python · 167 个 star
OpenMMReasoner
[CVPR 2026] OpenMMReasoner: Pushing the Frontiers for Multimodal Reasoning with an Open and General Recipe

Python · 166 个 star
EASI
Holistic Evaluation of Multimodal LLMs on Spatial Intelligence

Python · 128 个 star
ParaVT
ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning

Python · 58 个 star
MacOS-H3-Speedrun
Full MiniMax H3 speedrun workflows for Apple Silicon with strict staging, Turbo, FBC, Spectrum, and SolAttn

Python · 16 个 star

适合新手全部

未关闭全部

VideoMME score is substantially higher than the reported LLaVA-OneVision-7B result with 32 frames 未关闭

bug

难度 4/5 3-5 天新手友好度 50/100

EvolvingLMMs-Lab/lmms-eval#1541 · 4 条评论 · 2026年9月19日创建
GPT6 Astra 未关闭

难度 5/5 一周以上新手友好度 30/100

EvolvingLMMs-Lab/EASI#39 · 2026年9月12日创建
mathvision: find_math_answer keeps the FIRST \\boxed answer when a model retracts it and boxes a corrected one 未关闭

难度 2/5 1-3 小时新手友好度 84/100

EvolvingLMMs-Lab/lmms-eval#1511 · 1 条评论 · 2026年9月4日创建
mathvision: find_math_answer deletes the \text command name but keeps its braces — \boxed{\text{Sunday}} is scored wrong against gold Sunday 未关闭

难度 3/5 1-2 天新手友好度 78/100

EvolvingLMMs-Lab/lmms-eval#1509 · 1 条评论 · 2026年9月4日创建
mathvision: _fix_fracs is gated on "sqrt" — \frac12-style shorthand never normalizes, silently failing is_equal for sqrt-free answers 未关闭

难度 2/5 1-3 小时新手友好度 88/100

EvolvingLMMs-Lab/lmms-eval#1507 · 1 条评论 · 2026年9月4日创建
mathvision: _fix_sqrt corrupts indexed roots (\sqrt[3]{8} → \sqrt{[}3]{8}), silently failing the latex2sympy equivalence path 未关闭

难度 2/5 1-3 小时新手友好度 86/100

EvolvingLMMs-Lab/lmms-eval#1505 · 2 条评论 · 2026年9月4日创建
Verify evals on Papers with Code 未关闭

难度 3/5 1-2 天新手友好度 48/100

EvolvingLMMs-Lab/lmms-eval#1483 · 2026年8月28日创建
Use `dtype` instead of deprecated `torch_dtype` for transformers >= 4.56 未关闭

难度 1/5 1 小时以内新手友好度 93/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#197 · 2026年8月28日创建
minimax_h3_96gb_turbo_4_fast 执行报错未关闭

难度 3/5 1-2 天新手友好度 42/100

EvolvingLMMs-Lab/MacOS-H3-Speedrun#1 · 1 条评论 · 2026年8月21日创建
Verify evals on Papers with Code 未关闭

难度 2/5 1-3 小时新手友好度 52/100

EvolvingLMMs-Lab/LongVT#26 · 2026年8月16日创建
Verify evals on Papers with Code 未关闭

难度 2/5 1-3 小时新手友好度 62/100

EvolvingLMMs-Lab/ParaVT#4 · 2026年8月14日创建
Verify evals on Papers with Code 未关闭

难度 3/5 1-2 天新手友好度 45/100

EvolvingLMMs-Lab/NEO#17 · 2026年8月14日创建
[Bug] LiveMath default config expects 2-1-7 split, but downloader and run.sh use 2-2-6 未关闭

难度 2/5 1-3 小时新手友好度 75/100

EvolvingLMMs-Lab/SkillOpt-Lite#7 · 1 条评论 · 2026年8月11日创建
where is scripts/eval_only.py ? 未关闭

难度 3/5 1-2 天新手友好度 45/100

EvolvingLMMs-Lab/SkillOpt-Lite#6 · 3 个 reaction · 2026年8月5日创建
Text CE loss spikes during visual pre-training 未关闭

难度 5/5 一周以上新手友好度 25/100

EvolvingLMMs-Lab/NEO#16 · 2026年7月30日创建
EgoPlan-Bench2 and RoboFAC 未关闭

难度 5/5 一周以上新手友好度 30/100

EvolvingLMMs-Lab/EASI#38 · 2026年7月27日创建
About the SFT checkpoint 未关闭

难度 5/5 一周以上新手友好度 25/100

EvolvingLMMs-Lab/ParaVT#3 · 2026年7月23日创建
Verify evals on Papers with Code 未关闭

难度 3/5 1-2 天新手友好度 35/100

EvolvingLMMs-Lab/OneVision-Encoder#123 · 2026年7月23日创建
Test the fine tune model 未关闭

EvolvingLMMs-Lab/NEO#13 · 4 条评论 · 已指派 1 人 · 2026年7月22日创建
Verify evals on Papers with Code 未关闭

难度 2/5 1-3 小时新手友好度 48/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#193 · 2026年7月22日创建
Group-level post-processing hook for custom result aggregation 未关闭

enhancement

难度 5/5 一周以上新手友好度 38/100

EvolvingLMMs-Lab/lmms-eval#1406 · 2026年7月22日创建
The >40% rewrite rule introduces undocumented human intervention 未关闭

难度 4/5 3-5 天新手友好度 48/100

EvolvingLMMs-Lab/SkillOpt-Lite#4 · 2 条评论 · 2026年7月20日创建
Do benchmark-specific prompts preload the optimizer with failure diagnoses and solutions? 未关闭

难度 4/5 3-5 天新手友好度 35/100

EvolvingLMMs-Lab/SkillOpt-Lite#3 · 1 条评论 · 2026年7月20日创建
Security and evaluation integrity: no documented isolation boundary for the optimizer coding agent 未关闭

难度 5/5 一周以上新手友好度 35/100

EvolvingLMMs-Lab/SkillOpt-Lite#2 · 1 条评论 · 1 个 reaction · 2026年7月20日创建
new code has low forward performence in ovobench 未关闭

难度 5/5 一周以上新手友好度 25/100

EvolvingLMMs-Lab/SimpleStream#3 · 2026年7月19日创建
`qwen2_5_vl` video metadata fix in #1269 does not affect `second_per_grid_ts`; effective workaround is to pass fps, but fps > 2 can break temporal position ids 未关闭

bug

难度 4/5 3-5 天新手友好度 42/100

EvolvingLMMs-Lab/lmms-eval#1393 · 1 条评论 · 2026年7月14日创建
Opensourced LLM Skill 未关闭

难度 5/5 一周以上新手友好度 25/100

EvolvingLMMs-Lab/SkillOpt-Lite#1 · 2 条评论 · 2026年7月10日创建
Discrepancy between paper's 4-stage training curriculum and the training scripts/data configs in the repo 未关闭

难度 3/5 1-2 天新手友好度 55/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#187 · 2 个 reaction · 2026年7月9日创建
无法复现 LongVT-7B-SFT 在 VideoMME 上的结果未关闭

good first issue question

EvolvingLMMs-Lab/LongVT#25 · 2 条评论 · 已指派 1 人 · 2026年6月22日创建
Where can I find the codec-aligned video preprocessing code? 未关闭

难度 5/5 一周以上新手友好度 25/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#184 · 2 条评论 · 2026年6月5日创建
Question about codec preprocessing internals and source availability 未关闭

难度 4/5 3-5 天新手友好度 35/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#182 · 2 条评论 · 2026年6月1日创建
[Data Release] Missing split_180s.jsonl, split_gt10min.jsonl and corresponding video tars in HuggingFace dataset 未关闭

难度 4/5 3-5 天新手友好度 35/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#176 · 1 条评论 · 2026年5月28日创建
Is there a Thinking/RL variant of LLaVA-OneVision-2? 未关闭

难度 5/5 一周以上新手友好度 20/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#172 · 2026年5月28日创建
Release LLaVA-OneVision-2 artifacts (models, dataset) on Hugging Face 未关闭

难度 4/5 3-5 天新手友好度 35/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#171 · 2026年5月27日创建
Question about fine-tuning LLaVA-OneVision-2 未关闭

难度 5/5 一周以上新手友好度 25/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#163 · 1 个 reaction · 2026年5月25日创建
Availability of full fine-tuned VLM weights for inference 未关闭

难度 5/5 一周以上新手友好度 25/100

EvolvingLMMs-Lab/OneVision-Encoder#122 · 2026年5月20日创建
Are there plans to release long video data? 未关闭

难度 5/5 一周以上新手友好度 25/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#146 · 1 条评论 · 2026年5月18日创建
Missing checkpoint and merge script for LLaVA-OneVision-2-stage-0 (initial unaligned model) 未关闭

难度 4/5 3-5 天新手友好度 35/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#145 · 2026年5月18日创建
OVO-bench evaluation prompts are inconsistent to its official repo. 未关闭

难度 4/5 3-5 天新手友好度 42/100

EvolvingLMMs-Lab/SimpleStream#2 · 1 条评论 · 2026年5月16日创建
Difference between the paper and the code: global Top-K or local Top-K? 未关闭

难度 2/5 1-3 小时新手友好度 45/100

EvolvingLMMs-Lab/OneVision-Encoder#121 · 2026年5月13日创建
Add Gemma4 and Qwen3.6 support 未关闭

enhancement

难度 4/5 3-5 天新手友好度 45/100

EvolvingLMMs-Lab/lmms-eval#1315 · 1 条评论 · 1 个 reaction · 2026年4月30日创建
Add llama.cpp support 未关闭

enhancement

难度 5/5 一周以上新手友好度 35/100

EvolvingLMMs-Lab/lmms-eval#1312 · 2026年4月27日创建
Hyper-parameters used for reproducibility 未关闭

难度 3/5 1-2 天新手友好度 48/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#109 · 1 条评论 · 2026年4月24日创建
VLM4D (ICCV'25) and R4D-Bench (CVPR'26 Highlight) 未关闭

EvolvingLMMs-Lab/EASI#36 · 已指派 1 人 · 2026年4月20日创建
Low GPU utilization and significant bubbles during training 未关闭

难度 4/5 3-5 天新手友好度 35/100

EvolvingLMMs-Lab/OpenMMReasoner#12 · 1 条评论 · 2026年4月18日创建
[Compatibility] LLaVA-OneVision-1.5-8B-Instruct cannot run on transformers>=5.0.0 未关闭

难度 3/5 1-2 天新手友好度 35/100

EvolvingLMMs-Lab/LLaVA-OneVision-2#108 · 1 条评论 · 2026年4月17日创建
Why is the energy first normalized in each frame before performing top-k selection across all frames? 未关闭

难度 4/5 3-5 天新手友好度 35/100

EvolvingLMMs-Lab/OneVision-Encoder#116 · 1 条评论 · 2026年4月15日创建
qwen3_5是文本图像多模态模型，但目前只能测评文本未关闭

bug

难度 3/5 1-2 天新手友好度 55/100

EvolvingLMMs-Lab/lmms-eval#1300 · 3 条评论 · 1 个 reaction · 2026年4月15日创建
Are all I-frame tokens intended to be preserved in the current implementation? 未关闭

难度 4/5 3-5 天新手友好度 35/100

EvolvingLMMs-Lab/OneVision-Encoder#113 · 1 条评论 · 2026年4月14日创建
Clarification on Intra-frame (I-frame) interval in data preprocessing 未关闭

难度 3/5 1-2 天新手友好度 35/100

EvolvingLMMs-Lab/OneVision-Encoder#112 · 1 条评论 · 2026年4月14日创建

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

EvolvingLMMs-Lab

只显示最新的 100 条

把新 issue 发到你的邮箱