Skip to content

Add Git SSH Client Saturation Metrics for the Git Fleet

Andrew Newdigate requested to merge git-ssh-saturation into master

Records saturation metrics for the maximum number of Git SSH clients a git worker can handle.

We don't have direct metrics for this, but we can rely on HAProxy as a - uhm - proxy for this metric, through the haproxy_ssh_active_backend_connections metric.

However, with a start MaxStartups value of 150, it appears that we are still completely over capacity.

This graph shows how, with a 150 connections per server, we would still be at 100% capacity almost all of the time over the past four weeks.

image

https://thanos-query.ops.gitlab.net/graph?g0.range_input=4w&g0.expr=%20%20%20%20%20%20max(%0A%20%20%20%20%20%20%20%20clamp_max(%0A%20%20%20%20%20%20%20%20%20%20max_over_time(haproxy_ssh_active_backend_connections%7Bbackend%3D%22ssh%22%7D%5B1m%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%2F%20150%2C%0A%20%20%20%20%20%20%20%201)%0A%20%20%20%20%20%20)%20by%20(environment)&g0.tab=0

cc @cmiskell

Edited by Andrew Newdigate

Merge request reports