SHEF loader erroring out due to codes that should be skipped

オープン
#82 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
3/5
見積もり時間
1〜2日
初心者へのやさしさ
55/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
活発
技術スタック
python

調査の方向性

Start by locating the SHEF loader and its handling of unexpected data string items and unknown PE codes, then trace how parsed values are sent to CDA. Reproduce with a file containing codes absent from the SHEF Data Acquisition list and compare it with the working district-only file. Done means unmapped values are handled as intended and processing no longer fails with CDA 400 responses.

索引モデルが issue の本文から書いたものです。

説明

We receive files from division that contain more data than we necessarily process. We have a script to grab the file from LPMS and process data. When we use it to process a file that contains data for only our district, it runs without errors.

When we use it on data that contains values which are not in our SHEF Data Acquisition list, it errors out and exits.

The output starts with long list of this type of error
ERROR:lpms_shef:Unexpected data string item: [1] in message starting at in-memory stream:2735
ERROR:lpms_shef:Unexpected data string item: [1] in message starting at in-memory stream:2737
ERROR:lpms_shef:Unexpected data string item: [1] in message starting at in-memory stream:2740
ERROR:lpms_shef:Unexpected data string item: [1] in message starting at in-memory stream:2742
ERROR:lpms_shef:Unexpected data string item: [1] in message starting at in-memory stream:2743

Then goes to a long list of these type of warnings
WARNING:lpms_shef:Unknown PE code: [YN], value(s) will be untransformed in message starting at in-memory stream:3883
WARNING:lpms_shef:Unknown PE code: [YW], value(s) will be untransformed in message starting at in-memory stream:3884
WARNING:lpms_shef:Unknown PE code: [YZ], value(s) will be untransformed in message starting at in-memory stream:3887

Then
ERROR:root:CDA Error: response=<Response [400]>
ERROR:root:CDA Error: response=<Response [400]>

This is the error that causes the script to fail

Image

That path is mapped in the database. It appears correct. The script does work with the file where all values are mapped and writes to the test database.

主要言語
Python
スター
4
フォーク
2
PR マージ指標
30日以内にマージされた PR はありません

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

HydrologicEngineeringCenter/SHEF_processing のほかの issue

HydrologicEngineeringCenter/SHEF_processing の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。