Post

서버는 멀쩡했다 — 브라우저 HTTP/1.1 연결 6개가 막혀 웹 도구가 멈춘 일과 HTTP/2

서버는 멀쩡했다 — 브라우저 HTTP/1.1 연결 6개가 막혀 웹 도구가 멈춘 일과 HTTP/2

사내 이미지 라벨링 웹 도구에서 분할 모델(SAM 같은 「클릭 한 번으로 물체 선택」 모델)을 연달아 쓰면 화면이 느려지다가 멈췄다. 처음엔 서버를 의심했다. 하지만 서버로 직접 보낸 요청은 0.03초 만에 끝났고, 한 번도 밀리지 않았다. 원인은 브라우저였다. HTTP/1.1에서는 크롬이 한 호스트에 연결을 6개까지만 연다. 큰 응답들이 이 6개를 붙잡자, 뒤의 요청 56개가 서버로 출발하지도 못하고 Stalled 상태로 7분 넘게 줄을 섰다. 리버스 프록시에서 HTTP/2를 켜서 6개 한계부터 없앴다. 같은 날 오후에는 같은 증상의 다른 원인도 찾았다. 화면이 스스로 만든 재요청 폭주였다.


배경 — 요청 하나가 지나가는 길

GPU와 원본 데이터는 사무실의 GPU 서버에만 있다. 그래서 브라우저 요청은 클라우드의 리버스 프록시(nginx)를 지나 SSH 역터널을 타고 사무실 GPU 서버로 들어간다.

sequenceDiagram
  participant B as 브라우저(크롬)
  participant P as 리버스 프록시(nginx)
  participant A as 인증 API
  participant T as SSH 역터널
  participant G as GPU 서버 게이트웨이
  participant W as 작업 프로세스(GPU)
  B->>P: GET /regions (세션 쿠키)
  P->>A: auth_request (로그인 확인)
  A-->>P: 204 + 사용자·역할 헤더
  P->>T: proxy_pass (HTTP/1.1)
  T->>G: 터널로 전달
  G->>W: 작업별 프로세스로 전달
  W-->>B: 응답 (같은 길 거꾸로)

증상

  • 「도구를 오래 켜 두면 느려진다」, 「분할 모델을 여러 번 쓰면 렉 걸리면서 작동을 안 한다」.
  • DevTools Network 탭에서 주기 요청들이 (pending) 상태였다.
  • Timing 탭에는 Stalled 28초만 찍혀 있었다.
  • 필터에 is:running을 넣자 56개가 7분 넘게 전부 pending이었다. 20초마다 생기는 상태 확인 요청 2개와 60초마다 생기는 백업 요청이 쌓인 것이었다.

진단 과정

1. 코드 훑기 — 결론 못 냄

화면 쪽 캐시·타이머·되돌리기 이력은 모두 상한이 있었다. 서버 쪽에도 느려질 만큼 쌓이는 것이 없었다. 읽어서는 답이 안 나와서 측정으로 넘어갔다.

2. 서버를 직접 때려 보기 — 서버는 원인이 아님

브라우저와 터널을 빼고, 개발용 서버에 바로 부하 스크립트를 돌렸다.

  • 분할 요청: 큰 타일 이미지 12번 + 원본 사진 6번을 연달아 보냄
  • 동시에 0.5초마다 상태 확인 요청을 보냄
측정결과
분할 응답(타일 이미지)0.03초
분할 응답(원본 사진, JPEG 해독 포함)0.5~0.8초
배경 요청 22회최대 0.2초, 멈춤 0
횟수를 늘리면안 느려짐

서버의 계산과 잠금(lock)은 원인이 아니었다. 서버 자원(메모리·CPU·GPU)도 여유였고, fail2ban 차단이나 nginx limit_req 같은 속도 제한도 없었다.

3. 브라우저 Timing — 「보내지도 못했다」

크롬 Timing의 두 칸을 구분하는 것이 첫 갈림길이다.

칸뜻원인이 있는 곳
Stalled요청을 보내기 전 대기. 빈 연결 자리가 없거나 연결을 맺는 중브라우저·네트워크
Waiting (TTFB)요청을 보냈고, 서버의 첫 바이트를 기다림서버

이번에는 Stalled만 있었다. 요청이 브라우저 밖으로 나가지 못한 것이다.

4. 프록시 접속 기록과 시각 맞추기 — 결정적 증거

브라우저 기록과 프록시 기록을 같은 시각으로 나란히 놓았다.

시각프록시 기록
10:22:27~10:22:56분할 요청 35번(모두 200, 1초 안팎), 타일 저장 응답 1.5MB × 20여 건
10:23:12저장·분할·상태 확인 요청(모두 200)
10:23:13원본 사진 2.6MB(200)
그 뒤 15분이 브라우저의 요청 0건

브라우저의 pending이 시작된 시각과 프록시의 마지막 기록이 맞아떨어졌다. 프록시 설정은 http2 꺼짐, proxy_read_timeout 300s였다. 그런데 504가 한 건도 없었다. 요청이 프록시까지 오지 않았다는 뜻이다.

한쪽 기록만 봤다면 「서버가 안 받았다」와 「서버가 안 끝냈다」를 가를 수 없었다.

5. 합치면

브라우저는 요청을 못 보냈고(Stalled), 서버는 받은 요청을 전부 빨리 처리했다. 막힌 곳은 브라우저의 연결 풀이다.

원인 — 동작 원리

HTTP/1.1은 연결 하나에 요청 하나

  • HTTP/1.1에서 크롬은 같은 호스트에 연결을 최대 6개 연다.
  • 7번째 요청부터는 빈 연결이 날 때까지 Stalled로 기다린다.
  • 큰 응답(타일 저장 결과 1.5MB × N, 사진 2.6MB)은 GPU 서버의 업로드 회선 → SSH 터널 → 클라우드 → 사용자 회선을 타고 온다. 그동안 그 연결은 묶여 있다.

주기 요청이 줄을 키운다

  • 화면은 20초마다 상태 확인, 60초마다 백업 요청을 보낸다.
  • 앞 요청이 끝났는지 보지 않고 또 보낸다. 자리가 안 나면 줄이 56개까지 자란다.

사용자에겐 「분할 모델이 고장 났다」로 보인다

분할 클릭도 같은 줄에 선다. 화면은 응답을 기다리는 동안(busy 플래그) 다음 클릭을 무시한다. 그래서 「클릭해도 아무 반응이 없다」가 된다.

왜 7분이나 안 풀렸나 (가설)

  • keep-alive 연결은 중간 장비(공유기 NAT, 방화벽)가 조용히 끊을 수 있다.
  • 브라우저는 끊긴 줄 모르고 그 연결에서 응답을 기다린다. TCP 재전송이 포기할 때까지(수 분) 자리가 나지 않는다.
  • 프록시에 이후 요청이 전혀 없었다는 사실과 맞는다. 하지만 브라우저 쪽 기록(chrome://net-export)이 없어서 확정은 아니다.

해결 — 리버스 프록시에서 HTTP/2 켜기

HTTP/2는 연결 하나에 요청 수십 개를 동시에 싣는다. 이것을 멀티플렉싱(multiplexing)이라고 한다. 6개 한계가 사라지고, 큰 응답 하나가 다른 요청을 가로막지 않는다.

nginx에서는 한 줄이다.

1
2
3
4
5
6
7
8
9
server {
    listen 443 ssl;
    http2 on;            # nginx 1.25.1+ 문법. 예전 버전은 listen 443 ssl http2;
    # ...
    location / {
        proxy_http_version 1.1;   # 프록시 → 업스트림 구간은 그대로 HTTP/1.1
        proxy_pass http://upstream_tunnel;
    }
}
  • 바뀌는 구간은 브라우저 ↔ 프록시뿐이다. 프록시 → 터널 → 서버는 그대로 HTTP/1.1이다.
  • GUI 프록시 관리 도구를 쓴다면 보통 호스트 설정의 「HTTP/2」 체크박스 하나다.

이 방법을 먼저 고른 이유는 두 가지다.

  • 서버를 손보는 것(잠금 풀기, 스레드 늘리기)은 증거가 가리키지 않았다.
  • HTTP/2는 설정 한 줄이고 되돌리기도 한 줄이다. 「연결이 왜 오래 안 풀렸나」가 아직 가설이어도, 증상의 전제 조건(6개 한계) 자체를 없앤다.

확인은 같은 패턴(분할 30번 빠르게 + 자동 저장)을 재현하고, DevTools의 Protocol 열이 h2인지, is:running이 쌓이지 않는지 보면 된다.

같은 날 오후 — 같은 증상, 다른 원인

오후에 같은 증상이 또 났다. 이번엔 프록시 기록에 1분 동안 503이 7,932건 남았다.

무슨 일이었나

  1. 화면을 열면 서버가 오래 걸리는 오버레이 레이어를 계산하기 시작한다. 계산이 끝나기 전에는 503을 준다.
  2. 화면은 503을 받으면 다음 프레임에 바로 다시 요청하는 구조였다. 그래서 초당 약 130번을 보냈다.
  3. 프록시는 모든 요청마다 auth_request로 인증 API를 부른다. 폭주한 요청이 인증 API의 연결을 다 써 버려 502가 났다.
  4. 결국 정상 요청까지 전부 막혔다.

오전 사건의 「연결 6개가 다 묶임」도 적어도 한 갈래는 이 재요청 폭주였을 가능성이 크다. 다만 오전에 그 레이어가 켜져 있었는지는 기록이 없어 단정하지 않았다.

고친 방법 — 타일 요청을 공용 모듈 하나로

타일 요청을 모두 공용 모듈 하나로 모으고 세 가지 규칙을 넣었다.

  • 동시 요청은 최대 6개
  • 실패한 타일은 5초 뒤에 다시
  • 503을 받으면 그 종류의 요청 전체를 5초 쉼

핵심만 줄이면 이런 모양이다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
// tileFetch.ts — 동시 요청 상한 + 503 쿨다운 (개념만 줄인 형태)
const MAX_IN_FLIGHT = 6;
const COOLDOWN_MS = 5000;

let inFlight = 0;
const queue: Array<() => void> = [];
const coolUntil = new Map<string, number>(); // 요청 종류별 쉬는 시각

export async function fetchTile(kind: string, url: string): Promise<Response | null> {
  if (Date.now() < (coolUntil.get(kind) ?? 0)) return null; // 쉬는 중이면 보내지 않음
  if (inFlight >= MAX_IN_FLIGHT) await new Promise<void>(r => queue.push(r));
  inFlight++;
  try {
    const res = await fetch(url);
    if (res.status === 503) coolUntil.set(kind, Date.now() + COOLDOWN_MS);
    return res.ok ? res : null; // null이면 호출하는 쪽이 5초 뒤 다시 요청
  } finally {
    inFlight--;
    queue.shift()?.();
  }
}

이 규칙은 단위 테스트(vitest)로 묶어 두었다.

아직 남은 개선

  • 주기 요청에 「앞 요청이 안 끝났으면 이번엔 건너뜀」 넣기
  • 타일 저장 응답을 충돌이 없을 땐 빈 응답으로 바꾸기. 지금은 타일마다 1.5MB를 되돌려 준다. 20타일이면 30MB다.
  • 개발용 호스트도 HTTP/2로 맞추기

덤 — HTTP/3는 왜 안 켰나

 HTTP/1.1HTTP/2HTTP/3
아래 층TCPTCPQUIC (UDP 위)
연결 하나에요청 1개씩여러 요청을 섞어서여러 요청을 섞어서
브라우저 연결 수호스트당 6개, 7번째부터 Stalled1개1개
패킷 하나를 잃으면그 연결만 멈춤연결 전체가 잠깐 멈춤 (TCP가 순서를 지키느라)잃은 스트림만 멈춤
연결 맺기·이동TCP+TLS 2~3왕복, 네트워크가 바뀌면 끊김같음1왕복(재접속은 0), 와이파이↔LTE 이동에도 유지
  • HTTP/3는 TCP 대신 UDP 위에서 프로그램이 직접 순서·재전송·암호화를 구현한다(QUIC). 그래서 켜려면 QUIC 포함 nginx 빌드(1.25+ --with-http_v3_module), 방화벽 UDP 443, Alt-Svc: h3=":443" 응답 헤더가 모두 필요하다.
  • 이번 문제의 전제(6개 한계)는 HTTP/2로 이미 사라진다. HTTP/3의 추가 이득(패킷 유실, 네트워크 이동)은 유선·와이파이에서 쓰는 이 도구에선 작고, 쓰던 프록시 이미지도 QUIC 빌드가 아니어서 하지 않았다.

배운 점

Stalled와 Waiting부터 갈라라

「서버가 느리다」는 느낌은 서버, 경로, 브라우저 어디서든 올 수 있다. DevTools Timing에서 Stalled가 길면 요청이 출발도 못 한 것이고, Waiting(TTFB)이 길면 서버가 늦은 것이다.

서버를 직접 때려서 먼저 분리하라

브라우저와 프록시를 빼고 서버에 바로 요청을 보내 재는 것이 가장 싼 첫 분리였다.

1
2
3
# 응답 시간을 단계별로 쪼개 보기
curl -o /dev/null -s -w 'connect=%{time_connect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
  https://example.com/api/regions

두 기록을 시각으로 맞춰라

브라우저 pending이 시작된 시각 ≈ 프록시의 마지막 기록. 이 한 줄이 결정적이었다. 접속 기록은 보통 응답이 끝난 뒤 한 줄을 쓴다. 그래서 「기록에 없음」은 「안 왔다」 또는 「안 끝났다」다. 타임아웃 오류(504)가 없다는 것까지 보면 둘을 가를 수 있다.

폴링은 앞 요청을 보고 보내라

1
2
3
4
5
6
let running = false;
setInterval(async () => {
  if (running) return;   // 앞 요청이 안 끝났으면 건너뜀
  running = true;
  try { await refresh(); } finally { running = false; }
}, 20_000);

오류(503 등)를 받았을 때 바로 다시 묻는 것도 위험하다. 장애가 생기면 줄과 재요청이 스스로 자라 복구를 늦춘다. 재시도에는 반드시 대기 시간(backoff)을 넣는다.

시도해 볼 것

  • DevTools Network 탭 → 열 머리에서 우클릭 → Protocol 켜기 → http/1.1인지 h2인지 확인
  • 필터 칸에 is:running → 지금 끝나지 않은 요청만 보기
  • chrome://net-export → 소켓 단위 기록 저장 (끊긴 연결 확인용)

키워드: HTTP/1.1 connection limit, head-of-line blocking, HTTP/2 multiplexing, Chrome DevTools Stalled vs TTFB, keep-alive half-open connection, nginx http2 on, auth_request, retry storm, exponential backoff, QUIC / HTTP/3, Alt-Svc

This post is licensed under CC BY 4.0 by the author.