Issue: Parallel executor performance is mostly linear
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- ruby
- Área
- devops, performance
Línea de trabajo
Empieza ejecutando el benchmark de Ruby del issue, comparando las conexiones en frío con el caso PREWARM y variando el número de servidores. Inspecciona el executor paralelo y la ruta de ejecución de SSHKit para identificar el origen del coste de escalado. Se considera terminado cuando se haya confirmado el cuello de botella y se haya establecido una mejora medible o una limitación claramente documentada.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
We use capistrano to deploy on several hundred servers at once, and we noticed capistrano's performance was heavily tied to the number of servers.
To prove it I ran the following benchmark:
require 'benchmark'
require 'csv'
task :bench do
servers = roles(:borg).to_a
timings = {}
if ENV['PREWARM']
on servers do
execute :echo, 'pong > /dev/null'
end
end
[1, 10, 50, 100].each do |count|
timings[count] = Benchmark.measure do
on servers.pop(count) do
execute :echo, 'pong > /dev/null'
end
end
end
res = [%w(count user system real)]
timings.each do |count, timing|
res << [count, timing.utime, timing.stime, timing.real]
end
puts res.map(&:to_csv).join
end
Here are the results: Spreadsheet
The first graph is with "cold" connections, meaning it's connection establishment plus the command execution. In the second graph, all the connections were pre established before the benchmark.
I'm still investigating to figure out where exactly the bottleneck (or bottlenecks) exactly is. I know the GIL is not for nothing, but capistrano / SSHKit being IO heavy, I think there is other reasons.
cc @kirs as well as @csfrancis
- Lenguaje dominante
- Ruby
- Estrellas
- 1.2k
- Forks
- 257
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de capistrano/sshkit
-
should have an openssh backend Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
capistrano/sshkit#563 · 6 reacciones ·
-
No redaction for with values Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
capistrano/sshkit#562 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
capistrano/sshkit#554 · 3 comentarios ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
capistrano/sshkit#543 · 2 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
capistrano/sshkit#518 · 1 comentario ·
Todos los issues de capistrano/sshkit
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
riscv/riscv-unified-db#2626 ·
-
Component: GLib
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
ds-drift
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
we-promise/sure#3693 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
simp/pupmod-simp-simp#395 ·