• 동적 스케줄러 라이브러리 연재 세 번째 글이다. 이전 글에서 "리더 한 대만 동기화"가 읽기 30,030회를 1,001회로 줄이는 것을 쟀다. 이번 글은 그 리더를 어떻게 뽑았는지다.
  • 이 글은 개인적인 의견을 다룹니다.

다루는 내용

  • 부팅 동기화를 클러스터에서 한 대만 진행하도록, SELECT … FOR UPDATE 한 줄과 완료 시각 하나로 리더를 뽑으면서

목차

1. 흩어서 다 하기? 한 대만?

2. 대표는 어떻게 뽑을까?

3. 컬럼 두 개면 충분할까?

4. 마커에는 규칙이 몇 개 필요할까?

5. 실패하면 어느 쪽으로?

6. 실제로 돌려 보니?

7. 결과적으로?


1. 흩어서 다 하기? 한 대만?

  • 노드 N대가 부팅하면서 각자 대조를 전부 진행한다. 셔플로 쓰기는 줄였지만 읽기는 여전히 노드 수만큼이다.
  • 이러한 읽기까지 줄이려면 한 대만 진행해야 한다.
  • 한 대로 충분한 근거는 클러스터 모드의 JDBC JobStore에 있다.
    • 노드는 트리거를 캐시하지 않고, 실행(fire)할 트리거를 고를 때마다 테이블을 다시 읽는다.
    • 결과물이 DB에 있으니 한 대가 맞춰 두면 나머지는 할 일이 없다.

2. 대표는 어떻게 뽑을까?

  • 고민한 선택지는 아래와 같다.
  1. 노드를 행으로 등록하고 ORDER BY … LIMIT 1로 제일 먼저 온 노드를 리더로
    • 원자적인 선출이 아니라 스냅샷 읽기다.
    • 동시에 뜨면 각자 다른 스냅샷을 봐서 리더가 0개나 2개가 된다.
  2. 01편의 TRIGGER_ACCESS 락을 활용
    • 쓰기 1건마다 잡았다 놓는 락이라 줄은 세우지만 중복은 못 없앤다.
    • 통째로 쥐면 scheduleJob()이 같은 락을 잡으러 와서 교착한다.
  3. 리스 만료 + 하트비트로 리더가 죽었는지 추정
    • 살아 있는 리더를 밀어내 리더가 둘이 될 수 있다.
    • 노드 간 시계 동기화라는 전제도 필요하다.
  4. "QRTZ에 이미 있나?"를 보고 건너뛸지 판정
    • 확인하려면 getTrigger를 T번 호출해야 한다. 이게 바로 없애려던 읽기다.
  5. SELECT … FOR UPDATE WAIT n으로 대기 한계를 건다
    • MariaDB 전용 문법이다. MySQL 8에서는 세션 변수 innodb_lock_wait_timeout뿐이다.
  6. 락 전용 행 + 트랜잭션에 묶인 행 락 + 완료 마커

결과적으로 6을 선택했다. 1·2·4·5는 동작하지 않거나 목적을 못 이루고, 3은 동작하지만 이 작업에는 과하다.

  • 6도 Quartz가 TRIGGER_ACCESS로 하는 것과 같은 구조다. 잡는 단위만 "쓰기 1건"에서 "동기화 전체"로 바꿨다.

3. 컬럼 두 개면 충분할까?

  • 락 테이블의 컬럼은 아래와 같다.
    • 클러스터 이름(PK): 행 하나가 클러스터 하나의 락이다.
    • 완료 시각(아래에서는 마커): NULL이면 아직 아무도 끝내지 않은 상태다.
  • 누가 쥐고 있는지는 DB가 알아서 보유자 컬럼은 두지 않았다.
  • 흐름은 아래와 같다.
  1. 씨앗: 본 트랜잭션 밖에서 INSERT IGNORE(autocommit)로 행을 만든다. 안에서 하면 락을 놓는 시점이 두 군데가 된다.
  2. 선출: SELECT 완료시각 … FOR UPDATE. InnoDB가 하나만 통과시키고, 그 하나가 리더다.
  3. 완료시각 > 내 부팅시각이면 팔로워로서 건너뛰고, 아니면 리더로서 동기화를 진행한다.
  4. 성공한 뒤에만 같은 트랜잭션에서 UPDATE 완료시각 = NOW(3) 후 커밋한다.

리더를 계산하는 코드 없이 InnoDB 행 락이 하나만 통과시키고, 늦게 온 노드는 마커를 보고 건너뛴다 그림 1. 리더를 계산하는 코드 없이 InnoDB 행 락이 하나만 통과시키고, 늦게 온 노드는 마커를 보고 건너뛴다

  • SELECT … FOR UPDATE 한 줄이 줄 세우기, 리더 지목, "이미 끝났다" 알림을 모두 맡는다.
  • 이 중 세 번째는 마커 몫이다. 락만 있으면 나머지가 차례로 들어와 같은 일을 반복한다.

커넥션 수명이 곧 정확성?

  • 리더가 죽으면 커넥션이 끊기는 순간 InnoDB가 행 락을 푼다. 마커가 없으니 다음 노드가 이어받는다. 별도의 승계 코드는 없다.
  • 이러한 이유로 호출마다 커넥션을 빌렸다 돌려주는 JdbcTemplate은 쓰지 않았다.
  • 잠금 순서는 "락 행 → QRTZ_LOCKS" 한 방향뿐이다. 락을 Quartz 테이블과 다른 행에 둔 이유다.
  • Job과 Trigger 동기화는 한 락 안에서 같이 진행한다. 스케줄러 시작(start)은 락 밖이다.

4. 마커에는 규칙이 몇 개 필요할까?

  • 마커는 단순해 보였지만 실제로는 규칙이 네 개 필요했다. 어기면 생기는 일은 아래와 같다.
  1. NULL 여부가 아니라 세대를 본다.
    • 세대를 보지 않으면 지난 배포의 마커를 새 노드가 믿어서, 롤링 배포에서 새 스케줄이 영영 반영되지 않는다.
  2. 끝난 뒤에 찍는다.
    • 시작할 때 찍으면 중간에 죽은 리더를 아무도 이어받지 않는다.
  3. 시각은 DB 시계(NOW(3))로만 쓰고 읽는다.
    • 노드 시계가 느리면 지난 마커를 자기 세대 것으로 착각하고, 빠르면 매번 다시 동기화한다.
  4. 부팅 시각은 락을 잡기 전에 잰다.
    • 락 안에서 재면 리더의 마커보다 항상 나중이라 모든 팔로워가 "낡은 마커"로 판정한다.

5. 실패하면 어느 쪽으로?

  • 동기화를 건너뛰는 경우는 둘뿐이다.
    • 다른 노드가 끝냈다는 기록을 DB에서 확인했을 때
    • 부팅 자체가 실패했을 때
  • 나머지 실패는 모두 "조정 없이 각자 실행", 즉 폴백으로 처리한다.
    • 폴백은 기능을 껐을 때와 같은 동작이라 새 실패 모드가 없다.
    • 동기화는 키마다 읽고 비교하고 쓰는 구조라 두 번 실행돼도 결과가 같다.
  • 실패 지점별로 정리하면 아래와 같다.
    • 락 테이블 없음, DB 시각 조회 실패: 조립 시점에 부팅 실패로 드러난다.
    • 리더 급사: 락 해제 후 다음 노드 승계(중복)
    • 락 대기 타임아웃·데드락·SQL 오류: 폴백(중복)
    • 동기화 성공 후 마커 기록 실패: 다음 노드가 한 번 더(중복)
    • 동기화 자체 예외: 마커 없이 부팅 실패로 드러난다.

최악은 중복 실행이고, 누락은 없다.

  • 대기 한계는 기본 3분이다. 02편의 규모 곡선을 보고 60초에서 올렸다.
    • 한계를 넘기면 기다린 시간을 버리고 모든 팔로워가 동시에 원래 폭풍을 겪는다. 기능을 안 켠 것보다 나쁘다.
    • 길게 잡는 손해는 작다. 리더가 죽으면 락은 즉시 풀리기 때문이다.

6. 실제로 돌려 보니?

  • 02편 2차 측정(트리거 500 · 노드 30)에서 읽기 30,030회·7.9초가 1,001회·3.9초가 됐다. 팔로워의 비용은 SELECT … FOR UPDATE 1회다.
  • 테스트로는 동시 부팅 시 리더 하나, 승계, 지난 마커 무시, 폴백, 세션 변수 복원을 고정했다.

직접 밟은 함정은?

  • 리더가 FOR UPDATE를 걸고 있으면 씨앗 INSERT IGNORE도 막힌다. 중복 키 확인에 그 행의 잠금이 필요하다.
  • 타임아웃 세션 변수를 씨앗보다 뒤에 걸었더니, 첫 대기가 세션 기본값으로 기다렸다.
    • 계획 단계 실측에서 "1초로 설정했는데 50초 대기"가 나왔다.
    • 그래서 씨앗보다 먼저 걸고, 커넥션을 풀에 돌려주기 전에 원래 값으로 복원한다.
  • try-with-resources는 본문이 정상 종료해도 close()가 던지면 catch로 간다.
    • 커밋 후 커넥션 반납에서 예외가 나면 폴백으로 동기화를 한 번 더 진행한다. 트리거 4,000개면 42초를 한 번 더 쓴다.

단점과 한계는?

  • 솔직히 폭풍이 대기열로 바뀐 것이다.
    • 클러스터 전체가 뜨는 시간이 리더의 동기화 시간에 묶이고 startupProbe 예산을 먹는다.
  • 살아 있는데 느린 리더(GC 스톨 같은)는 락을 놓지 않아서 승계도 없다.
  • Quartz 배경 스레드끼리의 경합은 여전히 N배다(미측정).
  • 리더는 락 커넥션을 쥔 채 커넥션을 더 빌린다. 풀이 1~2개면 부팅이 실패하는데, 이 요건이 문서에 없었다.

7. 결과적으로?

  1. 이 작업에는 리스도 하트비트도 필요 없었다. 멱등하고 결과가 공유 DB에 저장된다는 전제 위에서는 행 락과 완료 마커로 충분했다.
  2. 실패는 부팅 실패로 드러나거나 중복 실행으로 떨어지고, 누락은 없다. 다만 폭풍이 대기열로 바뀌는 trade-off가 있었다.
  3. 결과가 노드 메모리에만 있거나 두 번 실행하면 안 되는 작업에는 이 패턴을 쓸 수 없다.

이전 글: 02. 빈 테이블에서 노드 30대가 동시에 뜨면 / 다음 글: 04. Pub/Sub을 버리고 Redis Streams로