loads datasets hangs at the end
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 38/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
- 領域
- cli, networking
調査の方向性
まずデータセットの読み込みを再現し、ckanapi/cli/load.py を調査してください。特に、requests.get(resource['url'], stream=True) の呼び出し周辺にある load_things_worker と _upload_resources を確認してください。影響を受けるデータセットの読み込みがリソースのダウンロード手順で無期限に待機せず、コマンドが予測可能な形で終了すれば、issue は完了です。
索引モデルが issue の本文から書いたものです。
説明
After every resource of the dataset is uploaded/updated, ckanapi waits for something forever.
Traceback (most recent call last):
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/bin/ckanapi", line 8, in <module>
sys.exit(main())
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/ckanapi/cli/main.py", line 137, in main
return load_things(ckan, thing[0], arguments)
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/ckanapi/cli/load.py", line 47, in load_things
return load_things_worker(ckan, thing, arguments)
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/ckanapi/cli/load.py", line 219, in load_things_worker
_upload_resources(ckan,obj,arguments)
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/ckanapi/cli/load.py", line 290, in _upload_resources
f = requests.get(resource['url'],stream=True)
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/requests/api.py", line 76, in get
return request('get', url, params=params, **kwargs)
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/requests/api.py", line 61, in request
return session.request(method=method, url=url, **kwargs)
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/requests/sessions.py", line 542, in request
resp = self.send(prep, **send_kwargs)
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/requests/sessions.py", line 655, in send
r = adapter.send(request, **kwargs)
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/requests/adapters.py", line 439, in send
resp = conn.urlopen(
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/urllib3/connectionpool.py", line 699, in urlopen
httplib_response = self._make_request(
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/urllib3/connectionpool.py", line 445, in _make_request
six.raise_from(e, None)
File "<string>", line 3, in raise_from
File "/home/frafra/.cache/pypoetry/virtualenvs/ckan-tools-Wy9USEi_-py3.8/lib/python3.8/site-packages/urllib3/connectionpool.py", line 440, in _make_request
httplib_response = conn.getresponse()
File "/usr/lib64/python3.8/http/client.py", line 1347, in getresponse
response.begin()
File "/usr/lib64/python3.8/http/client.py", line 307, in begin
version, status, reason = self._read_status()
File "/usr/lib64/python3.8/http/client.py", line 268, in _read_status
line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
File "/usr/lib64/python3.8/socket.py", line 669, in readinto
return self._sock.recv_into(b)
File "/usr/lib64/python3.8/ssl.py", line 1241, in recv_into
return self.read(nbytes, buffer)
File "/usr/lib64/python3.8/ssl.py", line 1099, in read
return self._sslobj.read(len, buffer)
KeyboardInterrupt
- 主要言語
- Python
- スター
- 211
- フォーク
- 81
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ckan/ckanapi のほかの issue
-
Apikey header nameオープン
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 38/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
-
ssl errorオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 45/100
似ている issue
-
changelog investigate
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
ramnes/notion-sdk-py#433 ·
-
docs pkg:core
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
pydantic/pydantic-ai#11929 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
intake/intake-esm#789 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
MemMachine/MemMachine#1877 ·
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
openedx/openedx-authz#579 ·
メンテナーはふだん 1 日以内に返信