Starting a new session immediately after ending a session with Flux gives "Internal error while spawning spindle daemons"

Đang mở
  • Có gì không ổn?
#239 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
42/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
bash, c, cpp
Lĩnh vực
distributed-systems, hpc

Hướng nghiên cứu

Reproduce under flux alloc -N4 with the issue's repro.sh: start, end, then start again. Read fluxmgr_add_to_kvs in fluxmgr.c around lines 84-141, especially the existing-namespace branch and the failing KVS commit; follow how spindlefemgr.c setup and launch_flux.cc spawnDaemon use that namespace. Done means the second --start-session succeeds after --end-session, with no "Internal error while spawning spindle daemons".

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Using the Flux resource manager, if running spindle --start-session immediately after spindle --end-session results in an "Internal error while spawning spindle daemons" and the session fails to start:

fluxuser@node-1:~$ flux alloc -N4

ƒ(s=4,d=1) fluxuser@node-1:~$ cat repro.sh
#!/bin/bash
spindle --start-session
echo "first --start-session exit $?"
spindle --end-session
echo "--end-session exit $?"
spindle --start-session
echo "second --start-session exit $?"

ƒ(s=4,d=1) fluxuser@node-1:~$ ./repro.sh
first --start-session exit 0
--end-session exit 0
Internal error while spawning spindle daemons
second --start-session exit 0

For the first, successful, session, the logs show:

[FE.4762@launch_flux.cc:107] spawnDaemon - Creating kvs spindle namespace in flux with daemon_args and bootstrap_args
[[email protected]:37] setup_args_on_fe - Getting daemon and bootstrap arguments
[[email protected]:50] setup_args_on_fe - Adding daemon and bootstrap args to flux KVS
[[email protected]:84] fluxmgr_add_to_kvs - Creating kvs spindle namespace
[[email protected]:113] fluxmgr_add_to_kvs - Setting flux kvs daemon_args = 21940 250 15213138193716679317 0
[[email protected]:120] fluxmgr_add_to_kvs - Set flux kvs boostrap_args = /home/fluxuser/Spindle-inst/libexec/spindle/spindle_bootstrap /bad_commpath/spindle.$NUMBER:/tmp/commpaths/spindle.$NUMBER /bad_cachepath/spindle.$NUMBER:/tmp/commpath/cachepath/spindle.$NUMBER 4312615407758736504 34364198826 0
[[email protected]:128] fluxmgr_add_to_kvs - Set flux kvs session = e.OG6aeZ
[[email protected]:132] fluxmgr_add_to_kvs - Commiting daemon_args and bootstrap_args to kvs

For the second, failed, session, the logs show:

[FE.4768@launch_flux.cc:107] spawnDaemon - Creating kvs spindle namespace in flux with daemon_args and bootstrap_args
[[email protected]:37] setup_args_on_fe - Getting daemon and bootstrap arguments
[[email protected]:50] setup_args_on_fe - Adding daemon and bootstrap args to flux KVS
[[email protected]:84] fluxmgr_add_to_kvs - Creating kvs spindle namespace
[FE.4766@spindle_session.cc:476] init_session - Session daemon startup was successful.  Exiting
[FE.4766@spindle_session.cc:668] waitfor_init_done - Waiting for session start to finish before exiting launcher exec
[[email protected]:92] fluxmgr_add_to_kvs - Flux kvs namespace for spindle already exists. Not recreating
[[email protected]:113] fluxmgr_add_to_kvs - Setting flux kvs daemon_args = 21940 250 3977181203926684318 0
[[email protected]:120] fluxmgr_add_to_kvs - Set flux kvs boostrap_args = /home/fluxuser/Spindle-inst/libexec/spindle/spindle_bootstrap /bad_commpath/spindle.$NUMBER:/tmp/commpaths/spindle.$NUMBER /bad_cachepath/spindle.$NUMBER:/tmp/commpath/cachepath/spindle.$NUMBER 8862407469866240024 34364198826 0
[[email protected]:128] fluxmgr_add_to_kvs - Set flux kvs session = FrNdN,Ae
[[email protected]:132] fluxmgr_add_to_kvs - Commiting daemon_args and bootstrap_args to kvs
[[email protected]:141] fluxmgr_add_to_kvs - ERROR: Committing new keys: Operation not supported
[[email protected]:53] setup_args_on_fe - ERROR: Could not add args to flux kvs
[FE.4768@launch_flux.cc:110] - ERROR: Failure setting up kvs parameters

Full log:
spindle_output.node-1.4759.txt

Ngôn ngữ chính
C
Star
110
Fork
35
Merge trung bình
2 ngày 9 giờ
Pull request đã merge (30 ngày)
2

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của llnl/Spindle

Tất cả issue của llnl/Spindle

Issue tương tự

Thêm issue về C

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.