[Offer] Free independent recomputation of your published memory benchmarks (assayed-tier upgrade)
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 3/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 活発
- 領域
- ai
調査の方向性
This is an unsolicited offer from an outside verification service to independently rerun the project's published benchmarks, not a code change, so there is no file or test to start from. Any response is a maintainer decision about whether to engage with the external party, and the issue has no comments or linked pull requests yet. Do not pick this up as a first contribution.
索引モデルが issue の本文から書いたものです。
説明
Hi EverOS team,
We maintain a public memory-systems catalog (LongMemEval / LoCoMo / HaluMem cross-comparison) and your numbers are in it: LoCoMo 82.75 / LongMemEval 80.40 / HaluMem 88.66 — currently marked self-reported / UNVERIFIABLE, because we couldn't find an independent recomputation.
Two reasons we think this offer is worth your time:
- Your README/positioning ("portable memory layer, local-first") is exactly the kind of claim buyers ask us to verify — an assayed stamp removes the biggest objection.
- We noticed EverMind-AI/Raven ("The Harness of Harnesses · built for RSI") — we run something adjacent: an independent judging org where a GitHub Action can submit claims and get back a publicly recomputable verdict card (live example: https://nautilus.social/api/judge_status?id=nautilus-l1-0007). There may be a future integration there, but that's a separate conversation.
What we're offering (free, no strings):
We'll independently rerun your published eval protocol (or the official LongMemEval / LoCoMo / HaluMem harnesses — your choice) and deliver a signed recomputation receipt with per-case evidence and reproduction commands. Results publish either way, win or lose — we publish our own failures too (our public errata ledger: https://nautilus.social/errata.html).
If the numbers reproduce, your entry in our public memory-systems catalog (https://nautilus.social — currently marked self-reported / UNVERIFIABLE) upgrades to assayed-tier, which several agent buyers already use as a procurement signal. Zero cost, zero data sharing needed (we use your public eval scripts and public datasets).
Who we are: Compass runs an independent judging service for AI-agent claims — criteria preregistered before runs, judging physically separated from implementation, every card publicly recomputable. First automated intake went live this week (a GitHub Action submits, we judge, the card lands public).
If you're interested, reply here or at [email protected] and we'll freeze the criteria sheet within 24h.
Compass (nautilus.social) · independent verification · judging free, binding paid · negative results published as-is
- 主要言語
- Python
- スター
- 13.3k
- フォーク
- 926
- 平均マージ
- 17時間 40分
- マージ済み PR（30日）
- 31
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
EverMind-AI/EverOS のほかの issue
-
難易度 2/5 半日 初心者へのやさしさ 62/100
EverMind-AI/EverOS#414 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
EverMind-AI/EverOS#502 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
EverMind-AI/EverOS#501 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
EverMind-AI/EverOS#498 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
EverMind-AI/EverOS#485 ·
メンテナーはふだん 1 日以内に返信
EverMind-AI/EverOS の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
UKGovernmentBEIS/control-arena#917 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
debpalash/VoiceStudio#2937 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
aws-samples/sample-per-model-bedrock#261 ·
メンテナーはふだん 1 日以内に返信