Is there guarantee for the correctness of data transformation code?

オープン
  • 何か問題がありますか？
#128 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 2 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
20/100
issue の種類
バグ
明瞭さ
説明が足りない
活発さ
停滞
領域
data-visualization, machine-learning

調査の方向性

gpt-4o-miniを使用して報告された変換を再現し、プロンプト「show only top 5 CO2 emission countries’ trends.」について gpt-4o と比較する。issue ではファイルもテストも指定されていないため、期待される結果と、意図された変更が検証、ユーザーが編集可能な変換コード、または誤ったモデル出力への対処方法に関するガイダンスのいずれであるかを明確にする。

索引モデルが issue の本文から書いたものです。

説明

Thanks for this amazing tool!

I can reproduce the results shown in the "Data Formulator 2" paper using the model gpt-4o.

However, when I changed the model to gpt-4o-mini, it gives wrong result (see the image below) for the step "show only top 5
CO2 emission countries’ trends". Then I paraphrased the NL prompt "show only top 5
CO2 emission countries’ trends" in another way, still it gives the same wrong result.

Does this imply that it can happen that the visualization intent may never be understood?
Or this is just a matter of which model is being used?

In such case, how can a user go ahead? Currently, it seems a user can only try different prompts again and again until it succeeds. Is there a way (and is it allowed) for users to debug and modify the data transformation code themselves?

Image

主要言語
Python
スター
17.7k
フォーク
1.7k
平均マージ
4日 1時間
マージ済み PR（30日）
8

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

microsoft/data-formulator のほかの issue

microsoft/data-formulator の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。