서버는 멀쩡했다 — 브라우저 HTTP/1.1 연결 6개가 막혀 웹 도구가 멈춘 일과 HTTP/2
사내 이미지 라벨링 웹 도구에서 분할 모델(SAM 같은 「클릭 한 번으로 물체 선택」 모델)을 연달아 쓰면 화면이 느려지다가 멈췄다. 처음엔 서버를 의심했다. 하지만 서버로 직접 보낸 요청은 0.03초 만에 끝났고, 한 번도 밀리지 않았다. 원인은 브라우저였다. HTTP/1.1에서는 크롬이 한 호스트에 연결을 6개까지만 연다. 큰 응답들이 이 6개를 붙잡자, 뒤의 요청 56개가 서버로 출발하지도 못하고 Stalled 상태로 7분 넘게 줄을 섰다. 리버스 프록시에서 HTTP/2를 켜서 6개 한계부터 없앴다. 같은 날 오후에는 같은 증상의 다른 원인도 찾았다. 화면이 스스로 만든 재요청 폭주였다.
배경 — 요청 하나가 지나가는 길
GPU와 원본 데이터는 사무실의 GPU 서버에만 있다. 그래서 브라우저 요청은 클라우드의 리버스 프록시(nginx)를 지나 SSH 역터널을 타고 사무실 GPU 서버로 들어간다.
sequenceDiagram
participant B as 브라우저(크롬)
participant P as 리버스 프록시(nginx)
participant A as 인증 API
participant T as SSH 역터널
participant G as GPU 서버 게이트웨이
participant W as 작업 프로세스(GPU)
B->>P: GET /regions (세션 쿠키)
P->>A: auth_request (로그인 확인)
A-->>P: 204 + 사용자·역할 헤더
P->>T: proxy_pass (HTTP/1.1)
T->>G: 터널로 전달
G->>W: 작업별 프로세스로 전달
W-->>B: 응답 (같은 길 거꾸로)
증상
- 「도구를 오래 켜 두면 느려진다」, 「분할 모델을 여러 번 쓰면 렉 걸리면서 작동을 안 한다」.
- DevTools Network 탭에서 주기 요청들이
(pending)상태였다. - Timing 탭에는 Stalled 28초만 찍혀 있었다.
- 필터에
is:running을 넣자 56개가 7분 넘게 전부 pending이었다. 20초마다 생기는 상태 확인 요청 2개와 60초마다 생기는 백업 요청이 쌓인 것이었다.
진단 과정
1. 코드 훑기 — 결론 못 냄
화면 쪽 캐시·타이머·되돌리기 이력은 모두 상한이 있었다. 서버 쪽에도 느려질 만큼 쌓이는 것이 없었다. 읽어서는 답이 안 나와서 측정으로 넘어갔다.
2. 서버를 직접 때려 보기 — 서버는 원인이 아님
브라우저와 터널을 빼고, 개발용 서버에 바로 부하 스크립트를 돌렸다.
- 분할 요청: 큰 타일 이미지 12번 + 원본 사진 6번을 연달아 보냄
- 동시에 0.5초마다 상태 확인 요청을 보냄
| 측정 | 결과 |
|---|---|
| 분할 응답(타일 이미지) | 0.03초 |
| 분할 응답(원본 사진, JPEG 해독 포함) | 0.5~0.8초 |
| 배경 요청 22회 | 최대 0.2초, 멈춤 0 |
| 횟수를 늘리면 | 안 느려짐 |
서버의 계산과 잠금(lock)은 원인이 아니었다. 서버 자원(메모리·CPU·GPU)도 여유였고, fail2ban 차단이나 nginx limit_req 같은 속도 제한도 없었다.
3. 브라우저 Timing — 「보내지도 못했다」
크롬 Timing의 두 칸을 구분하는 것이 첫 갈림길이다.
| 칸 | 뜻 | 원인이 있는 곳 |
|---|---|---|
| Stalled | 요청을 보내기 전 대기. 빈 연결 자리가 없거나 연결을 맺는 중 | 브라우저·네트워크 |
| Waiting (TTFB) | 요청을 보냈고, 서버의 첫 바이트를 기다림 | 서버 |
이번에는 Stalled만 있었다. 요청이 브라우저 밖으로 나가지 못한 것이다.
4. 프록시 접속 기록과 시각 맞추기 — 결정적 증거
브라우저 기록과 프록시 기록을 같은 시각으로 나란히 놓았다.
| 시각 | 프록시 기록 |
|---|---|
| 10:22:27~10:22:56 | 분할 요청 35번(모두 200, 1초 안팎), 타일 저장 응답 1.5MB × 20여 건 |
| 10:23:12 | 저장·분할·상태 확인 요청(모두 200) |
| 10:23:13 | 원본 사진 2.6MB(200) |
| 그 뒤 15분 | 이 브라우저의 요청 0건 |
브라우저의 pending이 시작된 시각과 프록시의 마지막 기록이 맞아떨어졌다. 프록시 설정은 http2 꺼짐, proxy_read_timeout 300s였다. 그런데 504가 한 건도 없었다. 요청이 프록시까지 오지 않았다는 뜻이다.
한쪽 기록만 봤다면 「서버가 안 받았다」와 「서버가 안 끝냈다」를 가를 수 없었다.
5. 합치면
브라우저는 요청을 못 보냈고(Stalled), 서버는 받은 요청을 전부 빨리 처리했다. 막힌 곳은 브라우저의 연결 풀이다.
원인 — 동작 원리
HTTP/1.1은 연결 하나에 요청 하나
- HTTP/1.1에서 크롬은 같은 호스트에 연결을 최대 6개 연다.
- 7번째 요청부터는 빈 연결이 날 때까지
Stalled로 기다린다. - 큰 응답(타일 저장 결과 1.5MB × N, 사진 2.6MB)은 GPU 서버의 업로드 회선 → SSH 터널 → 클라우드 → 사용자 회선을 타고 온다. 그동안 그 연결은 묶여 있다.
주기 요청이 줄을 키운다
- 화면은 20초마다 상태 확인, 60초마다 백업 요청을 보낸다.
- 앞 요청이 끝났는지 보지 않고 또 보낸다. 자리가 안 나면 줄이 56개까지 자란다.
사용자에겐 「분할 모델이 고장 났다」로 보인다
분할 클릭도 같은 줄에 선다. 화면은 응답을 기다리는 동안(busy 플래그) 다음 클릭을 무시한다. 그래서 「클릭해도 아무 반응이 없다」가 된다.
왜 7분이나 안 풀렸나 (가설)
- keep-alive 연결은 중간 장비(공유기 NAT, 방화벽)가 조용히 끊을 수 있다.
- 브라우저는 끊긴 줄 모르고 그 연결에서 응답을 기다린다. TCP 재전송이 포기할 때까지(수 분) 자리가 나지 않는다.
- 프록시에 이후 요청이 전혀 없었다는 사실과 맞는다. 하지만 브라우저 쪽 기록(
chrome://net-export)이 없어서 확정은 아니다.
해결 — 리버스 프록시에서 HTTP/2 켜기
HTTP/2는 연결 하나에 요청 수십 개를 동시에 싣는다. 이것을 멀티플렉싱(multiplexing)이라고 한다. 6개 한계가 사라지고, 큰 응답 하나가 다른 요청을 가로막지 않는다.
nginx에서는 한 줄이다.
1
2
3
4
5
6
7
8
9
server {
listen 443 ssl;
http2 on; # nginx 1.25.1+ 문법. 예전 버전은 listen 443 ssl http2;
# ...
location / {
proxy_http_version 1.1; # 프록시 → 업스트림 구간은 그대로 HTTP/1.1
proxy_pass http://upstream_tunnel;
}
}
- 바뀌는 구간은 브라우저 ↔ 프록시뿐이다. 프록시 → 터널 → 서버는 그대로 HTTP/1.1이다.
- GUI 프록시 관리 도구를 쓴다면 보통 호스트 설정의 「HTTP/2」 체크박스 하나다.
이 방법을 먼저 고른 이유는 두 가지다.
- 서버를 손보는 것(잠금 풀기, 스레드 늘리기)은 증거가 가리키지 않았다.
- HTTP/2는 설정 한 줄이고 되돌리기도 한 줄이다. 「연결이 왜 오래 안 풀렸나」가 아직 가설이어도, 증상의 전제 조건(6개 한계) 자체를 없앤다.
확인은 같은 패턴(분할 30번 빠르게 + 자동 저장)을 재현하고, DevTools의 Protocol 열이 h2인지, is:running이 쌓이지 않는지 보면 된다.
같은 날 오후 — 같은 증상, 다른 원인
오후에 같은 증상이 또 났다. 이번엔 프록시 기록에 1분 동안 503이 7,932건 남았다.
무슨 일이었나
- 화면을 열면 서버가 오래 걸리는 오버레이 레이어를 계산하기 시작한다. 계산이 끝나기 전에는 503을 준다.
- 화면은 503을 받으면 다음 프레임에 바로 다시 요청하는 구조였다. 그래서 초당 약 130번을 보냈다.
- 프록시는 모든 요청마다
auth_request로 인증 API를 부른다. 폭주한 요청이 인증 API의 연결을 다 써 버려 502가 났다. - 결국 정상 요청까지 전부 막혔다.
오전 사건의 「연결 6개가 다 묶임」도 적어도 한 갈래는 이 재요청 폭주였을 가능성이 크다. 다만 오전에 그 레이어가 켜져 있었는지는 기록이 없어 단정하지 않았다.
고친 방법 — 타일 요청을 공용 모듈 하나로
타일 요청을 모두 공용 모듈 하나로 모으고 세 가지 규칙을 넣었다.
- 동시 요청은 최대 6개
- 실패한 타일은 5초 뒤에 다시
- 503을 받으면 그 종류의 요청 전체를 5초 쉼
핵심만 줄이면 이런 모양이다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
// tileFetch.ts — 동시 요청 상한 + 503 쿨다운 (개념만 줄인 형태)
const MAX_IN_FLIGHT = 6;
const COOLDOWN_MS = 5000;
let inFlight = 0;
const queue: Array<() => void> = [];
const coolUntil = new Map<string, number>(); // 요청 종류별 쉬는 시각
export async function fetchTile(kind: string, url: string): Promise<Response | null> {
if (Date.now() < (coolUntil.get(kind) ?? 0)) return null; // 쉬는 중이면 보내지 않음
if (inFlight >= MAX_IN_FLIGHT) await new Promise<void>(r => queue.push(r));
inFlight++;
try {
const res = await fetch(url);
if (res.status === 503) coolUntil.set(kind, Date.now() + COOLDOWN_MS);
return res.ok ? res : null; // null이면 호출하는 쪽이 5초 뒤 다시 요청
} finally {
inFlight--;
queue.shift()?.();
}
}
이 규칙은 단위 테스트(vitest)로 묶어 두었다.
아직 남은 개선
- 주기 요청에 「앞 요청이 안 끝났으면 이번엔 건너뜀」 넣기
- 타일 저장 응답을 충돌이 없을 땐 빈 응답으로 바꾸기. 지금은 타일마다 1.5MB를 되돌려 준다. 20타일이면 30MB다.
- 개발용 호스트도 HTTP/2로 맞추기
덤 — HTTP/3는 왜 안 켰나
| HTTP/1.1 | HTTP/2 | HTTP/3 | |
|---|---|---|---|
| 아래 층 | TCP | TCP | QUIC (UDP 위) |
| 연결 하나에 | 요청 1개씩 | 여러 요청을 섞어서 | 여러 요청을 섞어서 |
| 브라우저 연결 수 | 호스트당 6개, 7번째부터 Stalled | 1개 | 1개 |
| 패킷 하나를 잃으면 | 그 연결만 멈춤 | 연결 전체가 잠깐 멈춤 (TCP가 순서를 지키느라) | 잃은 스트림만 멈춤 |
| 연결 맺기·이동 | TCP+TLS 2~3왕복, 네트워크가 바뀌면 끊김 | 같음 | 1왕복(재접속은 0), 와이파이↔LTE 이동에도 유지 |
- HTTP/3는 TCP 대신 UDP 위에서 프로그램이 직접 순서·재전송·암호화를 구현한다(QUIC). 그래서 켜려면 QUIC 포함 nginx 빌드(1.25+
--with-http_v3_module), 방화벽 UDP 443,Alt-Svc: h3=":443"응답 헤더가 모두 필요하다. - 이번 문제의 전제(6개 한계)는 HTTP/2로 이미 사라진다. HTTP/3의 추가 이득(패킷 유실, 네트워크 이동)은 유선·와이파이에서 쓰는 이 도구에선 작고, 쓰던 프록시 이미지도 QUIC 빌드가 아니어서 하지 않았다.
배운 점
Stalled와 Waiting부터 갈라라
「서버가 느리다」는 느낌은 서버, 경로, 브라우저 어디서든 올 수 있다. DevTools Timing에서 Stalled가 길면 요청이 출발도 못 한 것이고, Waiting(TTFB)이 길면 서버가 늦은 것이다.
서버를 직접 때려서 먼저 분리하라
브라우저와 프록시를 빼고 서버에 바로 요청을 보내 재는 것이 가장 싼 첫 분리였다.
1
2
3
# 응답 시간을 단계별로 쪼개 보기
curl -o /dev/null -s -w 'connect=%{time_connect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
https://example.com/api/regions
두 기록을 시각으로 맞춰라
브라우저 pending이 시작된 시각 ≈ 프록시의 마지막 기록. 이 한 줄이 결정적이었다. 접속 기록은 보통 응답이 끝난 뒤 한 줄을 쓴다. 그래서 「기록에 없음」은 「안 왔다」 또는 「안 끝났다」다. 타임아웃 오류(504)가 없다는 것까지 보면 둘을 가를 수 있다.
폴링은 앞 요청을 보고 보내라
1
2
3
4
5
6
let running = false;
setInterval(async () => {
if (running) return; // 앞 요청이 안 끝났으면 건너뜀
running = true;
try { await refresh(); } finally { running = false; }
}, 20_000);
오류(503 등)를 받았을 때 바로 다시 묻는 것도 위험하다. 장애가 생기면 줄과 재요청이 스스로 자라 복구를 늦춘다. 재시도에는 반드시 대기 시간(backoff)을 넣는다.
시도해 볼 것
- DevTools Network 탭 → 열 머리에서 우클릭 → Protocol 켜기 →
http/1.1인지h2인지 확인 - 필터 칸에
is:running→ 지금 끝나지 않은 요청만 보기 chrome://net-export→ 소켓 단위 기록 저장 (끊긴 연결 확인용)
키워드: HTTP/1.1 connection limit, head-of-line blocking, HTTP/2 multiplexing, Chrome DevTools Stalled vs TTFB, keep-alive half-open connection, nginx http2 on, auth_request, retry storm, exponential backoff, QUIC / HTTP/3, Alt-Svc