본문 바로가기
IT

Amazon Redshift란 무엇이고, 언제 왜 쓰는가

HTML6 2025. 12. 25. 13:02
728x90
반응형
728x170

데이터가 하루가 다르게 불어나고, 분석 요청은 어느 순간 “지금 당장”이 기본값이 되었죠. 그럴 때 이름이 오르내리는 서비스가 Amazon Redshift입니다. 이 글에서는 Redshift가 무엇인지, 내부가 어떻게 돌아가는지, 그리고 실제로 언제,왜 선택해야 하는지를 실무자의 눈높이에서 정리합니다. 과장 없이, 현업에서 바로 써먹을 수 있는 정보만 담았습니다.

Redshift 한 줄 정의

Redshift는 AWS가 제공하는 완전관리형 클라우드 데이터 웨어하우스입니다. 페타바이트급 데이터를 빠르게 분석하도록 설계되었고, 프로비저닝형(클러스터)과 서버리스 두 가지 배포 모델을 제공합니다. 서버리스는 용량 설정 없이도 자동으로 리소스를 할당·확장해 변동성 큰 워크로드를 유연하게 처리합니다.

아키텍처 핵심: 컬럼식 저장·MPP, 컴퓨트/스토리지 분리

Redshift는 컬럼 기반 저장과 대규모 병렬 처리(MPP)로 대용량 집계·조인 위주의 OLAP 질의를 빠르게 처리합니다. RA3 노드에서는 Redshift Managed Storage(RMS)로 컴퓨트와 스토리지를 분리해, 연산(노드 시간)과 저장(GB-월) 비용을 독립적으로 최적화할 수 있습니다. 또한 AQUA(Advanced Query Accelerator)라는 하드웨어 가속 캐시가 특정 스캔·집계 질의에서 성능을 끌어올립니다.

왜 중요한가

  • 컴퓨트/스토리지 분리: 스토리지 때문에 노드를 과다 할당할 필요가 줄어듭니다. 성수기에도 비용·성능 튜닝이 수월합니다.
  • AQUA 가속: 대량 스캔·집계 패턴에서 자동으로 가속을 기대할 수 있습니다.

배포 모델: 프로비저닝 vs 서버리스

  • 프로비저닝(Provisioned): 클러스터와 노드 타입을 직접 고르고, 온디맨드 또는 예약 인스턴스로 비용을 관리합니다. RA3 노드를 사용하면 RMS/AQUA 이점을 활용할 수 있습니다.
  • 서버리스(Serverless): RPU(Redshift Processing Unit) 단위로 과금되며, 부하에 맞춰 자동으로 확장/축소합니다. 최소 RPU를 설정해 베이스 비용을 관리하고, 상한(MaxRPU)을 걸어 예산 초과를 방지할 수 있습니다. 예약(Serverless Reservations)으로 할인 옵션도 제공합니다.

요약하자면, 사용량이 들쭉날쭉하면 서버리스, 상시 고정 부하는 프로비저닝+예약 조합이 유리한 경향이 있습니다.

데이터 레이크/외부 데이터와의 통합

S3를 직접 읽는 Redshift Spectrum

Redshift 테이블에 적재하지 않고도 S3 파일(Parquet/ORC/CSV 등)의 구조화/반정형 데이터를 직접 쿼리합니다. 대규모 병렬로 동작하며, 스캔량 기준으로 별도 비용이 청구됩니다. 데이터 레이크와 웨어하우스를 느슨하게 결합할 때 유용합니다.

Federated Query로 RDS/Aurora와 조인

운영 DB(PostgreSQL/MySQL 계열)의 데이터를 Redshift에서 바로 조인해 분석할 수 있습니다. 같은 VPC, 네트워크 보안 설정 등 연결 전제조건을 충족해야 하며, 데이터 이동 없이 운영 데이터와 분석 데이터를 결합할 수 있다는 장점이 있습니다.

Zero-ETL: Aurora → Redshift 근실시간 동기화

Aurora의 트랜잭션 데이터를 수 초 단위로 Redshift에 제공해 거의 실시간 분석을 가능하게 하는 통합 옵션입니다. 복잡한 ETL 파이프라인을 줄이고, 운영·분석 분리를 깔끔하게 구현할 수 있습니다.

데이터 셰어링(Data Sharing)

데이터를 복사 없이 동일 계정/크로스 계정/서버리스 워크그룹/리전 간에 읽기 전용으로 공유합니다. 최신 데이터에 대한 일관된 뷰를 제공하며 권한 제어가 체계적이라 조직 간 협업에 적합합니다.

반정형 데이터: SUPER 타입과 PartiQL

JSON 같은 반정형/중첩 데이터를 SUPER 타입으로 저장하고, SQL 호환 질의 언어인 PartiQL로 탐색합니다. 슈퍼 타입은 스키마리스 특성을 띠고 동적 타입 지정을 지원해, 이벤트 로그나 다양한 API 페이로드를 유연하게 다루는 데 유리합니다.

 

간단한 예시를 보면.

-- SUPER 컬럼을 가진 테이블
CREATE TABLE events (
  id BIGINT,
  payload SUPER
);

-- 중첩 경로 질의 (PartiQL)
SELECT payload.user.name, payload.actions[0].type
FROM events
WHERE payload.eventType = 'purchase';

성능·확장 기능: 동시성 스케일링, 머티리얼라이즈드 뷰

  • Concurrency Scaling: 사용자/질의가 폭증하면 보조 클러스터를 자동으로 추가해 지연을 줄입니다. 사용량 한도와 비용 캡으로 예산을 통제할 수 있습니다.
  • Materialized View(자동 MV 포함): 복잡한 집계를 사전 계산해 응답 성능을 크게 개선합니다. 내부 테이블은 물론 Spectrum/페더레이티드 쿼리 기반 외부 테이블에도 적용할 수 있습니다.

예시:

-- 외부 테이블(Spectrum)과 내부 테이블 조인의 결과를 MV로
CREATE MATERIALIZED VIEW mv_sales_daily AS
SELECT
  d::date AS sales_date,
  SUM(amount) AS total_amount
FROM external_schema.s3_orders  -- Spectrum 외부 테이블
JOIN dim_date ON order_ts::date = d
GROUP BY 1;

-- 새벽 배치 리프레시
REFRESH MATERIALIZED VIEW mv_sales_daily;

머신러닝 통합: Redshift ML

SQL의 CREATE MODEL로 모델을 학습하고, 예측 함수를 Redshift 내부에서 바로 호출합니다. 별도 추론 엔드포인트 운영 없이 분석 SQL 안에서 점수화를 수행할 수 있어, 추천·이탈 예측 같은 시나리오를 간결하게 구현합니다. 학습 시에는 별도의 ML 비용이 발생할 수 있습니다.

-- 간단 예시: 구매 전환 예측 모델 생성
CREATE MODEL purchase_churn_model
FROM (
  SELECT age, region, last_activity_days, label
  FROM train_table
)
TARGET label
FUNCTION purchase_churn_predict
IAM_ROLE 'arn:aws:iam::<account-id>:role/RedshiftMLRole';

보안: 암호화, VPC, IAM 연계

  • 전송 구간은 SSL, 저장 구간은 KMS/HSM 기반의 다계층 키 구조(AES-256)로 암호화할 수 있습니다.
  • 기본적으로 폐쇄형 네트워킹을 지향하며, VPC 보안 그룹과 프라이빗 서브넷으로 접근을 제한합니다.
  • 조직/계정 간 데이터 셰어링과 권한 모델을 명확히 정의하면 거버넌스가 쉬워집니다.

비용 모델 한눈에 보기

항목 개요
프로비저닝(클러스터) 온디맨드/예약 인스턴스. RA3로 RMS/AQUA 사용. 저장은 GB-월, 컴퓨트는 노드-시간 기준.
서버리스 RPU-시간 과금, 자동 확장/축소. 최소 RPU와 MaxRPU로 비용 상·하한 설정. 서버리스 예약으로 할인 가능.
Spectrum S3 스캔량 기준 별도 과금.
RMS 스토리지 GB-월 과금(지역별 단가 상이). 비용 최적화의 핵심 축.

 

실무 팁: 변동성 큰 워크로드·간헐적 사용은 서버리스가 관리 편의성과 비용 예측 측면에서 유리하고, 상시 고정 부하는 프로비저닝+예약이 총소유비용(TCO)을 낮추는 경우가 많습니다.

언제 Redshift를 쓰는지 대표 시나리오

  1. 엔터프라이즈 DWH 표준화
    BI 도구와 연계가 쉽고, 페타바이트급 집계/조인이 필요한 전형적 분석 환경. 데이터 셰어링으로 부서·계정 간 라이브 데이터 공유가 필요할 때.
  2. 데이터 레이크 연계 분석
    S3에 쌓인 원천 데이터를 적재 없이 바로 조회·조인하거나, 단계적으로 DW로 이관하고 싶을 때 Spectrum이 적합합니다.
  3. 운영 DB와의 실시간/근실시간 결합
    페더레이티드 쿼리로 운영 DB를 함께 조인하거나, Aurora Zero-ETL로 수 초 단위 동기화를 통해 실시간 KPI/모니터링 대시보드를 구성할 때.
  4. 반정형 데이터 혼재 환경
    이벤트 로그/JSON 페이로드가 많고 스키마가 유동적일 때 SUPER+PartiQL로 데이터 모델링과 질의 복잡도를 줄입니다.
  5. 폭주형 동시접속
    세일/캠페인·월말 리포트처럼 갑자기 질의가 몰리는 상황에서 Concurrency Scaling으로 지연 없이 처리하고, 비용 캡으로 월 예산을 관리합니다.
  6. 분석과 ML의 결합
    SQL 안에서 예측 점수화를 하고 싶거나 ML 파이프라인 운영 부담을 줄이고 싶을 때 Redshift ML이 깔끔합니다.

언제 Redshift를 재고할까

  • 초저지연 트랜잭션 처리(OLTP)가 핵심인 시스템에는 부적합합니다. 이 경우 운영 DB(RDS/Aurora)가 주역이고, 분석은 Redshift로 분리하는 구성이 일반적입니다.
  • 완전 서버리스·파일 기반 분석만으로 충분하고 웨어하우스의 스키마·권한·워크로드 관리가 과하다면 S3+Athena 같은 대안이 비용 효율적일 수 있습니다.
  • 스파스·소량 데이터 위주의 간단 리포트만 필요하면 관리 오버헤드가 더 낮은 경량 대안을 먼저 검토하세요.

실무 체크리스트

  1. 워크로드 프로파일링: 동시 사용자 수, 쿼리 패턴(대량 스캔/조인/집계), 피크 시간대 계측 → Concurrency Scaling·서버리스 필요성 판단.
  2. 데이터 소스 지도: S3·RDS/Aurora·외부 SaaS 등 원천 정리 → Spectrum/페더레이티드/Zero-ETL 중 최적 경로 선택.
  3. 반정형 처리 전략: SUPER/PartiQL 채택 여부, 스키마-온-리드 vs 스키마-온-라이트 경계 설정.
  4. 성능 캐싱 전략: 자주 쓰는 요약 질의는 머티리얼라이즈드 뷰(자동 MV 포함)로 응답 시간 단축.
  5. 보안 설계: KMS 키 정책, VPC/보안 그룹, 조직/계정 간 데이터 셰어링 권한 모델 정의.
  6. 비용 가드레일: 서버리스 RPU 한도·예약과 Spectrum 스캔 비용 알람 세팅.

시작 가이드: 매우 빠른 POC 절차

  1. 서버리스 워크그룹 생성(최소 RPU와 MaxRPU 설정) → 샘플 데이터 적재.
  2. Spectrum 외부 스키마 연결 → S3의 원천 데이터와 내부 테이블을 함께 조회.
  3. 핵심 대시보드 질의 기준으로 MV 구성 → 응답 시간·비용 비교.
  4. 페더레이티드 쿼리 또는 Aurora Zero-ETL로 운영 데이터 결합.
  5. 보안/권한/데이터 셰어링으로 팀 간 공유 체계 적용.

결론

Redshift는 데이터가 크고, 사용자와 질의가 많고, 데이터 원천이 다양하며, 보안·거버넌스·성능·비용 통제가 모두 필요한 조직형 분석 문제를 풀기 위해 설계된 플랫폼입니다. 데이터 레이크(S3)·운영 DB(Aurora/RDS)와의 연계, 반정형 데이터 처리, 동시성 스케일링, MV, ML까지 분석 플랫폼의 뼈대를 한 번에 구성하게 해줍니다.


언제 왜 Redshift를 쓰느냐고 묻는다면, 데이터가 크고 복잡할수록, 사용자와 질의가 동시에 몰릴수록, 원천 시스템과 끊김 없이 연결하고 싶을수록 Redshift의 장점이 선명해집니다. 그리고 서버리스·예약·RMS 같은 선택지는 비용을 예측 가능하고 합리적으로 만들어 줍니다.

 

참고 자료

728x90
반응형
그리드형
저작자표시 (새창열림)

'IT' 카테고리의 다른 글

JPA에서 동시성 제어 방법(낙관적 락,비관적 락)  (0) 2025.12.24
오늘 공개된 GPT-5.2, GPT-5.1·GPT-5(5.0)와 뭐가 달라졌나  (0) 2025.12.12
REST API에서 PUT과 PATCH 차이  (5) 2025.11.11
맥북 M1 ~ M5 칩셋 성능 변화 한 번에 보기 (2025년 11월 기준)  (3) 2025.11.11
MySQL VS 오라클(Oracle) 비교: 돈, 기능, 규모로 따져보는 현실적인 DB 선택 가이드  (1) 2025.11.11

'IT' Related Articles

티스토리툴바