Aurora MySQL binlog 활성화의 비용: 복제·CDC·복구의 절충점
Aurora MySQL binlog의 쓰기 비용, CDC 보존 기간, enhanced binlog의 복원·리전 전환 제약을 운영 관점에서 정리한다.
binlog 활성화는 단순히 로그 파일 하나를 추가하는 작업이 아니다. 커밋 경로에 변경 이력 생성을 추가하고, 외부 소비자가 읽을 때까지 이력을 보존하며, 장애 뒤에도 소비자가 올바른 위치에서 다시 시작하도록 운영 책임을 확장하는 결정이다. 특히 Aurora에서는 클러스터 내부 복제와 관리형 백업이 binlog 기반 외부 복제와 다른 경로를 사용한다. 이 구분 없이 “복구를 위해 켜야 한다”거나 “reader가 있으니 이미 켜져 있다”고 판단하면 비용과 복구 설계를 모두 잘못 잡을 수 있다.
이 글은 Aurora MySQL 버전 3의 운영 판단을 중심으로 설명한다. 관리형 기능의 조건은 AWS 공식 문서로 확인했으며, 아래 SQL은 폐기용 Community MySQL 8.0에서 실행한 진단과 가정 입력 계산이다. 실제 Aurora의 성능, 과금, CDC 연결, 재부팅, 장애 전환은 실험하지 않았다. 버전이 다른 클러스터에는 해당 엔진 계열의 파라미터와 지원 조건을 다시 대조해야 한다.
1. 먼저 분리해야 할 세 가지 변경 전달 경로
클러스터 내부 복제
Aurora writer와 reader는 분산 클러스터 볼륨을 공유한다. reader가 동일한 데이터를 관측하도록 유지하는 내부 동작은 일반 MySQL source의 binlog를 외부 replica가 받아 적용하는 방식과 다르다. 따라서 Aurora reader를 사용한다는 사실만으로 외부 CDC용 binlog가 활성화되었다고 볼 수 없다. Global Database의 관리형 리전 간 복제도 외부 binlog 소비와 구별해야 한다.
외부 복제와 CDC
외부 MySQL replica, 데이터 파이프라인, 변경 데이터 캡처(CDC)는 source가 내보내는 논리적 변경 이력을 요구할 수 있다. 이 경우 binlog 형식, 행 이미지, 소비자 권한, 시작 위치, 보존 기간이 하나의 계약을 이룬다. Aurora binlog는 writer에서 접근한다. reader endpoint로 옮겨 CDC 읽기 부하를 분산하는 설계는 이 경계를 무시한다.
관리형 백업과 복구
Aurora의 자동 백업은 클러스터 볼륨에 대한 연속·증분 백업이며, 관리형 PITR은 보존된 복구 데이터에서 새 클러스터를 만든다. Aurora 관리형 PITR을 사용하기 위해 사용자가 binlog를 켜야 하는 것은 아니다. 반대로 외부 논리 백업에 binlog를 이어 붙이는 자체 복구 체계는 완전한 로그 연속성과 시작 좌표가 필요하다. 두 방식의 복구 가능 시간을 동일한 값으로 관리해서는 안 된다.
flowchart TD
A[애플리케이션 트랜잭션] --> W[Aurora writer]
W --> S[공유 분산 스토리지]
S --> R[Aurora reader]
S --> B[관리형 백업과 PITR]
W --> L[활성화된 binlog 경로]
L --> C[외부 복제와 CDC]
C --> K[소비 위치와 재시작 상태]
L --> H[보존 기간과 저장량 관리]
B --> N[새 클러스터 복원]
N --> Q[CDC 이력과 재연결은 별도 검증]
그림은 책임 경로를 분리한 개념도이지 Aurora의 내부 프로토콜이나 물리 I/O 순서를 모두 표현한 것은 아니다. 데이터 복원이 성공해도 이전 binlog 이력과 CDC 체크포인트가 그대로 이어진다는 뜻은 아니다.
2. 비용은 커밋·보존·전송·재처리에서 발생한다
변경 이력 생성과 커밋 경로
일반적인 MySQL binlog 경로에서는 트랜잭션이 생성한 이벤트를 캐시에 모았다가 커밋 과정에서 기록한다. InnoDB 복구 로그와 binlog의 일관성을 맞추는 작업이 필요하며, group commit은 여러 트랜잭션의 기록·동기화 비용을 묶는다. 이 때문에 이벤트 직렬화, 메모리와 임시 저장, 로그 기록, 커밋 조정이 쓰기 경로에 추가된다.
Aurora의 실제 스토리지 경로는 Community MySQL과 같지 않다. 따라서 Community의 파일 동기화 횟수나 sync_binlog 튜닝 효과를 그대로 Aurora 비용 모델에 대입해서는 안 된다. AWS는 Aurora binlog 활성화가 쓰기 디스크 I/O를 늘린다고 설명하며 VolumeWriteIOPs 관측을 안내한다. TPS만 볼 것이 아니라 커밋 지연의 p95·p99, CPU, 저장량, 소비자 지연을 같은 부하에서 비교해야 한다.
행 이미지와 트랜잭션 크기
ROW 형식에서는 변경 행의 이미지가 이벤트 크기를 좌우한다. 넓은 문자열·JSON·BLOB을 가진 행, 많은 행을 한 번에 바꾸는 배치, 잦은 UPDATE는 작은 SQL 텍스트와 달리 큰 변경 스트림을 만들 수 있다. binlog_row_image=FULL은 UPDATE 전후의 행 정보를 풍부하게 제공하지만 저장과 전송 부담이 커질 수 있다.
MINIMAL은 무조건적인 최적화가 아니다. 일부 CDC 도구나 변환 로직은 변경되지 않은 열이나 변경 전 값을 요구한다. 지원하지 않는 행 이미지로 전환하면 스트림은 읽혀도 대상 데이터가 불완전해질 수 있다. 소비자 제품·버전·사용 기능이 요구하는 형식을 먼저 확인하고, 호환성 근거가 없으면 비용 절감만을 이유로 줄이지 않는다. 신규 복제 구성은 ROW를 우선 검토한다. MySQL 8.0.34 이후 binlog_format의 deprecated 상태는 ROW 자체의 폐기를 뜻하지 않는다.
보존과 재처리
소비자가 느리거나 중단된 동안 source에는 미소비 이력이 쌓인다. 긴 보존은 재시작 여유를 주지만 저장량을 늘린다. 너무 짧은 보존은 로그 삭제 뒤 전체 재적재를 요구하여 오히려 더 큰 읽기 부하, 네트워크 전송, 업무 지연을 만들 수 있다.
소비자가 여러 개라면 가장 느린 소비자의 재시작 요구를 포함해야 한다. 다만 보존 기간 설정이 개별 소비자의 체크포인트를 자동으로 추적해 영구 보장하는 것은 아니다. 각 소비자의 마지막 성공 위치와 source의 가장 오래된 가용 로그를 함께 감시해야 한다.
3. enhanced binlog는 비용 경로와 복구 조건을 함께 바꾼다
AWS 문서에 따르면 enhanced binlog는 binlog와 트랜잭션 로그를 스토리지에 병렬로 기록하여 커밋 시 기록 부담을 줄인다. 지원 시작 버전은 Aurora MySQL 3.03.1이다. 공식 문서의 오버헤드 감소율이나 재시작·failover 회복 시간 개선율은 특정 조건에서의 수치이므로 자신의 워크로드에 대한 성능 보장으로 사용하지 않는다.
활성화 조건은 클러스터 파라미터 그룹에서 함께 확인한다.
binlog_format은OFF가 아니어야 한다. CDC 요구가 ROW라면 ROW로 구성한다.aurora_enhanced_binlog=1로 설정한다.binlog_backup=0,binlog_replication_globaldb=0이 필요하다.- 적용 상태가
pending-reboot라면 writer 재부팅을 계획한다. 현재 Backtrack이 활성화된 클러스터에서는 enhanced binlog를 켤 수 없다.
여기서 binlog_backup=0은 Aurora의 데이터 자동 백업을 끄는 뜻이 아니라 binlog 이력의 백업 경로를 바꾸는 설정이다. 핵심 제약은 다음과 같다.
- enhanced binlog 이력은 Aurora 백업에 포함되지 않으므로 복원·클론에 따라오지 않는다. 보존 시간을 길게 지정해도 이 제약은 해소되지 않는다.
- Global Database 보조 리전으로 enhanced binlog 이력이 복제되지 않는다. 리전 간 승격 뒤 새 writer에 이전 로그가 있다고 가정할 수 없다.
- 복원·클론 또는 리전 전환 뒤 binlog가 켜진 새 클러스터는 자체 파일 시퀀스를 시작한다. 파일명만 같은지 비교해서는 source의 동일성을 증명할 수 없다.
- enhanced binlog를 끄더라도 enhanced 모드에서 생성했던 과거 이력이 소급하여 백업되거나 다른 리전에 복구되는 것은 아니다.
동일 클러스터에서 enhanced 모드를 켜고 끄는 전환은 기존 소비자가 파일 시퀀스를 계속 소비할 수 있도록 설계되어 있다. 이 사실을 복원·클론·리전 전환의 이력 연속성으로 확대하면 안 된다. 해제할 때도 aurora_enhanced_binlog=0뿐 아니라 binlog_backup과 binlog_replication_globaldb를 1로 되돌리는 공식 조건을 함께 확인한다.
또한 enhanced 모드에서는 일부 group commit 지연 파라미터가 무시된다. Community MySQL의 지연 설정을 그대로 적용해 성능을 제어할 수 있다고 가정하지 않는다. binlog_checksum 변경의 재부팅 조건 등 모드별 차이도 배포 전 점검 대상이다.
4. 활성화 여부는 파라미터 이름 하나로 판단하지 않는다
Aurora에서는 클러스터 파라미터 그룹의 binlog_format=OFF로 binlog를 비활성화하더라도 SQL 세션에서 형식이 ROW로 보일 수 있다. 따라서 형식 값과 실제 log_bin 활성 상태를 구별한다. 다음 조회는 일반 MySQL에서도 실행할 수 있는 기본 진단이다.
SELECT VERSION() AS mysql_version, @@global.log_bin AS log_bin;
SELECT VARIABLE_NAME, VARIABLE_VALUE
FROM performance_schema.global_variables
WHERE VARIABLE_NAME IN ('binlog_format', 'binlog_row_image', 'binlog_cache_size')
ORDER BY VARIABLE_NAME;
실행 결과(MySQL 8.0.x):
mysql> SELECT VERSION() AS mysql_version, @@global.log_bin AS log_bin;
+---------------+---------+
| mysql_version | log_bin |
+---------------+---------+
| 8.0.46 | 0 |
+---------------+---------+
1 row in set (0.00 sec)
mysql> SELECT VARIABLE_NAME, VARIABLE_VALUE
-> FROM performance_schema.global_variables
-> WHERE VARIABLE_NAME IN ('binlog_format', 'binlog_row_image', 'binlog_cache_size')
-> ORDER BY VARIABLE_NAME;
+-------------------+----------------+
| VARIABLE_NAME | VARIABLE_VALUE |
+-------------------+----------------+
| binlog_cache_size | 32768 |
| binlog_format | ROW |
| binlog_row_image | FULL |
+-------------------+----------------+
3 rows in set (0.00 sec)
실행 결과의 log_bin=0은 이 검증 서버가 binlog를 비활성화한 상태라는 뜻이다. ROW·FULL 값이 보여도 이벤트가 실제로 생성된다는 증거가 아니다. binlog_cache_size도 전체 binlog 저장량 한도가 아니라 트랜잭션 캐시 관련 값이다. 연결별 설정을 허용하는 변수는 필요하면 실제 업무 세션의 값과도 비교한다.
Aurora에서만 가능한 추가 확인으로는 공식 진단인 SHOW STATUS LIKE 'aurora_enhanced_binlog'의 ACTIVE 상태 확인과 mysql.rds_show_configuration 호출이 있다. 이 글에서는 해당 관리형 명령을 실행하지 않았으므로 Aurora 결과 화면을 제시하지 않는다. Community 서버에서 Aurora 전용 항목이 조회되지 않는 것을 기능 장애로 해석해서도 안 된다.
binlog 활성화를 위해 파라미터 그룹을 변경할 때는 같은 그룹을 공유하는 다른 클러스터의 영향 범위를 먼저 조사한다. writer 재부팅뿐 아니라 해당 버전에서 reader에 필요한 적용 절차와 장애 전환 후보의 설정 일치도 검토한다. 파라미터 저장 성공과 모든 인스턴스의 적용 완료는 별도의 확인 항목이다.
5. 캐시 사용 횟수와 I/O 지표를 바르게 읽는다
다음은 일반 MySQL의 binlog 캐시 사용 관련 누적 카운터다. 권한과 계측 범위를 확인한 뒤 시작·종료 두 시점의 차이를 사용한다.
SELECT VARIABLE_NAME, VARIABLE_VALUE
FROM performance_schema.global_status
WHERE VARIABLE_NAME IN ('Binlog_cache_use', 'Binlog_cache_disk_use')
ORDER BY VARIABLE_NAME;
실행 결과(MySQL 8.0.x):
mysql> SELECT VARIABLE_NAME, VARIABLE_VALUE
-> FROM performance_schema.global_status
-> WHERE VARIABLE_NAME IN ('Binlog_cache_use', 'Binlog_cache_disk_use')
-> ORDER BY VARIABLE_NAME;
+-----------------------+----------------+
| VARIABLE_NAME | VARIABLE_VALUE |
+-----------------------+----------------+
| Binlog_cache_disk_use | 0 |
| Binlog_cache_use | 0 |
+-----------------------+----------------+
2 rows in set (0.00 sec)
Binlog_cache_use는 트랜잭션용 binlog 캐시를 사용한 횟수이며, Binlog_cache_disk_use는 캐시를 디스크 임시 파일로 넘겨 사용한 횟수다. 후자가 증가하면 대형 트랜잭션이나 캐시 크기를 조사할 근거가 되지만, 로그 바이트 수·디스크 I/O 횟수·느린 커밋 수와 동일한 지표는 아니다. binlog가 꺼진 검증 서버에서 0이 나오는 것은 예상 가능한 결과이지 운영 부하가 건강하다는 증거가 아니다.
Aurora enhanced binlog는 I/O cache와 내부 경로가 달라 Community 카운터의 값만으로 병목을 판정하지 않는다. 다음 관측점을 병행한다.
ChangeLogBytesUsed: enhanced binlog의 저장 사용량, 단위는 Bytes다.ChangeLogReadIOPs,ChangeLogWriteIOPs: 공식 정의는 각각 5분 구간의 읽기·쓰기 I/O 횟수다. 이름에 IOPs가 들어 있어도 수치를 그대로 초당 횟수로 읽지 않는다. 실제 수집 주기와 CloudWatch 통계 함수를 확인한다.VolumeWriteIOPs: 전체 쓰기 I/O 경향을 보는 관측점이다. binlog만의 증가분으로 단정하려면 동일한 업무량을 대조해야 한다.- CDC 지연, 소비 바이트율, 마지막 성공 체크포인트, 재시작 실패 횟수: DB 지표가 안정적이어도 외부 소비자는 뒤처질 수 있다.
저장 사용량의 두 시점 차이는 보존 로그가 삭제되는 순간 음수가 될 수 있다. 이를 순수 생성률로 사용하지 않는다. 로그 회전·삭제를 고려한 생성량 측정과 소비자 측 전송량을 구별하여 수집한다. I/O 비용 역시 Aurora Standard와 I/O-Optimized의 과금 모델, 리전, 데이터 전송 경로에 따라 달라지므로 여기서는 금액으로 환산하지 않는다.
6. 보존 기간은 중단 시간뿐 아니라 따라잡기 능력으로 설계한다
Aurora의 binlog retention hours 기본값 NULL은 무제한 보존이 아니다. 공식 문서는 지연 정리 방식이며 보통 하루를 넘지 않는 기간 남을 수 있다고 설명한다. 이를 계약된 하루 보존으로 취급해서는 안 된다. 명시적으로 설정하고 mysql.rds_show_configuration으로 확인한다. mysql.rds_set_configuration의 이 설정은 재부팅·failover 뒤에도 유지되지만, enhanced 이력의 복원·리전 전환 제약까지 없애지는 않는다. 값 0은 허용되지 않는다.
보존 시간의 보수적 계획값은 최대 중단 시간, 따라잡기 시간, 운영 여유를 합쳐 잡을 수 있다. 이는 모든 소비자의 정확한 최소 보존 시간을 구하는 공식이 아니라 안전 여유를 포함한 단순 모델이다. 연속 순차 소비에서는 가장 오래된 미소비 이벤트의 나이가 처리 중 감소할 수 있으며, 실제 경계는 소비 방식과 체크포인트 정책에 달려 있다.
다음은 생성률이 초당 8 MiB, 소비 처리율이 초당 12 MiB 또는 6 MiB, 중단 시간이 6시간이라고 가정한 계산이다. 소비 처리율은 복구 중에도 유지되는 지속 처리량이어야 한다. 생성이 계속되므로 순 따라잡기 속도는 소비율에서 생성률을 뺀 값이다. 실제 Aurora 측정값이 아니다.
WITH inputs AS (
SELECT 1 AS scenario_id, 8 AS generated_mib_s, 12 AS consumed_mib_s,
6 AS outage_h, 2 AS margin_h, 24 AS retention_h
UNION ALL
SELECT 2, 8, 12, 6, 2, 12
UNION ALL
SELECT 3, 8, 6, 6, 2, 24
), plan AS (
SELECT *,
generated_mib_s * outage_h /
NULLIF(GREATEST(consumed_mib_s - generated_mib_s, 0), 0)
AS catchup_h
FROM inputs
)
SELECT scenario_id,
ROUND(generated_mib_s * 3600 * outage_h / 1024, 2) AS backlog_gib,
ROUND(catchup_h, 2) AS catchup_h,
ROUND(outage_h + catchup_h + margin_h, 2) AS planned_h,
retention_h,
ROUND(generated_mib_s * 3600 * retention_h / 1024, 2) AS retained_gib,
CASE
WHEN catchup_h IS NULL THEN 'NO_CONVERGENCE'
WHEN retention_h >= outage_h + catchup_h + margin_h THEN 'PLAN_OK'
ELSE 'EXTEND_RETENTION'
END AS decision
FROM plan
ORDER BY scenario_id;
실행 결과(MySQL 8.0.x):
mysql> WITH inputs AS (...) ... ORDER BY scenario_id;
+-------------+-------------+-----------+-----------+-------------+--------------+------------------+
| scenario_id | backlog_gib | catchup_h | planned_h | retention_h | retained_gib | decision |
+-------------+-------------+-----------+-----------+-------------+--------------+------------------+
| 1 | 168.75 | 12.00 | 20.00 | 24 | 675.00 | PLAN_OK |
| 2 | 168.75 | 12.00 | 20.00 | 12 | 337.50 | EXTEND_RETENTION |
| 3 | 168.75 | NULL | NULL | 24 | 675.00 | NO_CONVERGENCE |
+-------------+-------------+-----------+-----------+-------------+--------------+------------------+
3 rows in set (0.00 sec)
결과 화면의 SQL 명령만 축약했으며 반환된 열과 행은 모두 표시했다. 첫 번째와 두 번째 경우는 미소비량 168.75 GiB, 따라잡기 12시간, 여유를 포함한 계획값 20시간으로 같지만 보존 기간이 각각 24시간과 12시간이어서 판정이 다르다. 세 번째는 소비율이 생성률보다 낮아 같은 부하가 지속되면 따라잡을 수 없다. 이때 보존만 늘리면 고갈 시점을 미룰 뿐이다. 소비 처리량 개선, source 생성률 제어, 재적재 경로 중 무엇을 바꿀지 결정해야 한다.
retained_gib는 일정한 생성률에 보존 시간을 곱한 논리적 로그량 가정이다. 파일 경계, 삭제 지연, 압축, 실제 저장 구현, 중복 보관, 과금 단위까지 반영한 청구 예상값이 아니다. PLAN_OK 역시 계산 조건 통과일 뿐 실제 CDC 복구 시험 통과가 아니다.
7. 변경과 장애 대응의 승인 기준
활성화 전
- 외부 소비자가 실제로 binlog를 요구하는지 확인한다. Aurora 내부 reader와 관리형 PITR만 필요하다면 그 이유만으로 활성화하지 않는다.
- 소비자별 ROW 형식·행 이미지·DDL 처리·GTID 또는 파일 위치 추적의 지원 조건을 고정한다. “연결 가능”과 “변경 의미를 정확히 재현”은 다르다.
- 대표 트랜잭션 크기와 쓰기율로 비활성·일반 binlog·enhanced 모드를 비교할 시험을 설계한다. 최대 성능뿐 아니라 p99 커밋 지연과 소비자의 복구 처리량도 측정한다.
- 초기 적재와 변경 스트림을 연결하는 일관성 경계를 정한다. 덤프 완료 시각만 기록하는 대신 소비 도구가 지원하는 snapshot·시작 좌표 절차를 사용한다.
전환 직후
파라미터의 적용 완료, writer의 log_bin, 실제 모드 상태, 소비자가 받은 이벤트를 따로 확인한다. 작은 INSERT·UPDATE·DELETE와 DDL을 검증용 데이터로 수행하고 대상의 내용까지 대조하는 것이 필요하다. 이 글의 로컬 진단은 이 Aurora 통합 시험을 대체하지 않는다.
새로운 writer 연결은 성공했지만 체크포인트가 진행하지 않는 경우에는 source 식별자, 로그 가용 범위, 인증과 네트워크, consumer 내부 오류를 차례로 확인한다. 무조건 최신 위치로 건너뛰는 조치는 누락을 정상 처리로 위장할 수 있으므로 금지한다.
복원 또는 리전 간 전환 뒤
이전 로그를 사용할 수 없다면 endpoint만 바꾸는 것으로 복구를 끝내지 않는다. 새로운 일관성 기준의 snapshot과 CDC 시작 위치를 확보하고, 전체 또는 범위 재적재가 필요한지 결정한다. 대상 시스템에서 중복 적용과 삭제 누락을 식별할 키·정합성 검사를 준비한다. GTID를 사용하더라도 새 source에 필요한 이벤트가 보존되어 있는지와 source 이력의 연속성은 별도로 확인해야 한다.
binlog 비활성화를 성능 장애의 즉시 완화 수단으로 사용하기 전에는 소비자 중단과 이력 공백의 영향을 승인받는다. 설정을 되돌리면 로그 생성은 재개할 수 있어도, 비활성화 구간의 변경 이벤트가 소급 생성되지는 않는다.
8. 운영 체크리스트
결론
Aurora MySQL에서 binlog의 가치는 외부 시스템에 재생 가능한 변경 이력을 제공하는 데 있다. 비용은 로그 생성에 그치지 않고 보존, 소비 지연, 재적재, 복구 경계 관리로 이어진다. enhanced binlog는 쓰기 경로의 부담을 줄이는 선택지이지만 이전 이력을 복원·리전 전환 후에도 제공한다는 보장은 아니다.
활성화 여부는 “로그를 켤 수 있는가”가 아니라 “소비자가 필요한 변경을 제때 읽고 장애 뒤에도 검증 가능한 방식으로 다시 연결할 수 있는가”로 결정한다. 이 구분은 이후 CDC 운영, 데이터 정합성 검증, 복구 리허설을 같은 기준으로 설계하는 출발점이 된다.