Performance Results on HumanEval
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 20/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
The issue names no files, tests, or entry points. First inspect the CodeRL repository and the paper's APPS/Codex evaluation setup to determine whether a HumanEval evaluation path exists; done would be a documented HumanEval comparison or a clear statement of scope.
索引モデルが issue の本文から書いたものです。
説明
I am reading your CodeRL paper. It uses the APPS benchmark to show the performance comparison with Codex. Do you have any comparison results using the HumanEval dataset?
- 主要言語
- Python
- スター
- 576
- フォーク
- 69
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
salesforce/CodeRL のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 10/100
salesforce/CodeRL#65 ·
-
CodeRL模型谷歌云盘访问遭拒 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 10/100
salesforce/CodeRL#64 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 10/100
salesforce/CodeRL#63 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 32/100
salesforce/CodeRL#61 · コメント 3 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 20/100
salesforce/CodeRL#60 ·
salesforce/CodeRL の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
stephrobert/dsoxlab#238 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
sublimehq/package_control#1780 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
nwg-piotr/nwg-displays#145 ·