bug(bq_driver): SQLDriverConnectW corrupts/fails to NUL-terminate outConnectionString (breaks Microsoft Excel / iODBC on macOS)
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
Start in google/cloud/odbc/bq_driver/odbc_api.cc at SQLDriverConnectW and compare its output handling with SQLBrowseConnectW. Check the wire buffer helpers in odbc_type_utils.h and the ODBC truncation behavior described in the issue. Done means using separate UTF-8 storage, respecting the wide output buffer limit, and ensuring the result is NUL-terminated; the issue also requests updating the macOS release tarball after a new release tag.
索引モデルが issue の本文から書いたものです。
説明
Summary
When using the Google BigQuery ODBC Driver on macOS with iODBC (sizeof(SQLWCHAR) == 4) and Microsoft Excel / Microsoft Query, calling SQLDriverConnectW corrupts outConnectionString (szConnStrOut), causing Excel's Return Data action (inserting query results as a Table or PivotTable) to fail with:
[iODBC][Driver Manager]Data source name not found and no default driver specified. Driver could not be loaded
Root Cause Analysis
1. Latest Published Release (v1.3.1 / ODBCDriverforBigQuery_macos_latest.tar.gz)
In v1.3.1 (currently the latest binary published on GCS bq-driver-releases and GitHub Releases), SQLDriverConnectW in google/cloud/odbc/bq_driver/odbc_api.cc passed reinterpret_cast<SQLCHAR*>(outConnectionString) to SQLDriverConnectInternal() (which wrote 8-bit UTF-8 bytes into the caller's SQLWCHAR* buffer) and then executed:
outConnectionString = ToSqlWChar(utf16_out_conn_str->data());
Because outConnectionString is a pointer passed by value, reassigning the local parameter was a dead store (optimized out under -O3) and never copied the converted wide characters back into the caller's buffer. Consequently:
outConnectionStringstill contained raw 8-bit UTF-8 bytes (e.g.,"DSN=my-bq-dsn;").- On macOS,
iODBCreadsoutConnectionStringas 32-bitwchar_t(UTF-32LE) code units (0x3d4e5344, ...) and converts them into"??????". - When clicking Return Data in Microsoft Query on macOS,
Microsoft Query.apppassesOutConnectionStringtoMicrosoft Excel.appto open the worksheet connection, which immediately fails iniODBC.
2. Remaining Issues on main (google/cloud/odbc/bq_driver/odbc_api.cc:274-300)
Commit d080bdb282 (#1506) replaced the dead pointer assignment with:
WriteWideToWireBuffer(*utf16_out_conn_str, outConnectionString,
out_conn_str_len);
However, three issues remain in SQLDriverConnectW on main:
- Missing wire
NULterminator:WriteWideToWireBufferdefaults tobool null_terminate = false(odbc_type_utils.h:188), and unlikeSQLBrowseConnectW(odbc_api.cc:402),SQLDriverConnectWneither zerosoutConnectionStringbeforehand nor passes/*null_terminate=*/true. - Buffer overflow when
outConnectionStringBufferLentruncates the output: Per the ODBC specification,PopulateOutputConnectionStringsets*out_conn_str_lento the full untruncated string length even whenout_conn_str_buflenis smaller (SQL_SUCCESS_WITH_INFO/01004). Passingout_conn_str_lendirectly toWriteWideToWireBufferwithout clamping tooutConnectionStringBufferLen - 1writes past the end ofoutConnectionString, andUtf8ToUtf16((char*)out_conn_str)on line 287 ignoreselseonly becauseout_conn_str_len > 0. - Aliasing
outConnectionStringas a temporary UTF-8 buffer: CastingoutConnectionString(SQLWCHAR*) directly toSQLCHAR*aliases the caller's output buffer before wide conversion.
Proposed Fix (google/cloud/odbc/bq_driver/odbc_api.cc)
Use a separate temporary std::vector<SQLCHAR> buffer for SQLDriverConnectInternal, clamp the number of wide characters written to outConnectionStringBufferLen - 1, and pass /*null_terminate=*/true to WriteWideToWireBuffer:
std::vector<SQLCHAR> utf8_out_buf(
outConnectionString && outConnectionStringBufferLen > 0
? static_cast<size_t>(outConnectionStringBufferLen)
: 0,
0);
SQLCHAR* out_conn_str =
(!utf8_out_buf.empty()) ? utf8_out_buf.data() : nullptr;
SQLSMALLINT out_conn_str_len = 0;
rc = google::cloud::odbc_bq_driver::SQLDriverConnectInternal(
connectionHandle, windowHandle, sqlchar_in_connection_str,
inConnectionStringLen, out_conn_str, outConnectionStringBufferLen,
&out_conn_str_len, driverCompletion);
// Handle Unicode conversion of output parameters.
if (SQL_SUCCEEDED(rc) && outConnectionString) {
if (outConnectionStringBufferLen > 0) {
std::string val(ToCharStr(out_conn_str));
StatusRecordOr<std::wstring> utf16_out_conn_str = Utf8ToUtf16(val);
if (!utf16_out_conn_str) {
return utf16_out_conn_str.GetCalculatedReturnCode();
}
size_t const max_chars =
static_cast<size_t>(outConnectionStringBufferLen - 1);
size_t const to_copy =
std::min<size_t>(utf16_out_conn_str->size(), max_chars);
WriteWideToWireBuffer(*utf16_out_conn_str, outConnectionString, to_copy,
/*null_terminate=*/true);
} else if (outConnectionStringBufferLen == 0) {
// Buffer length is 0; do not write to outConnectionString.
}
}
if (outConnectionStringLen) *outConnectionStringLen = out_conn_str_len;
(Note: Once a new release tag is cut, please also update the macOS tarball at https://storage.googleapis.com/bq-driver-releases/odbc/ODBCDriverforBigQuery_macos_latest.tar.gz, which currently still serves v1.3.1.)
- 主要言語
- C++
- スター
- 5
- フォーク
- 8
- 平均マージ
- 2日 14時間
- マージ済み PR(30日)
- 10
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
googleapis/cpp-bigquery-odbc のほかの issue
-
priority: p2 type: bug
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
googleapis/cpp-bigquery-odbc#1686 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Statement execution integration tests refactor再び着手できるかも @sachinpro が 977 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンpriority: p2 type: bug
googleapis/cpp-bigquery-odbc#271 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
priority: p2 type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
googleapis/cpp-bigquery-odbc#215 ·
メンテナーはふだん 1 日以内に返信
-
Remove external dependencies from Unit Tests再び着手できるかも @sachinpro が 1032 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンpriority: p2 type: bug
googleapis/cpp-bigquery-odbc#195 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
priority: p2 type: cleanup
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
googleapis/cpp-bigquery-odbc#187 ·
メンテナーはふだん 1 日以内に返信
googleapis/cpp-bigquery-odbc の issue をすべて見る
似ている issue
-
audit-reference-check
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
schrodinger/pymol-open-source#532 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
xlnt-community/xlnt#174 ·