AI 기반 Text-to-SQL 시스템으로 데이터 접근성을 확장한 방법

개요

Text-to-SQL의 병목은 SQL 문법이 아니라 데이터 모델 해석에 있었습니다.

상황

애드혹 분석 요청은 분석가의 시간을 많이 소모하고 있었습니다. 실제 병목은 SQL 문법이 아니라, 어떤 테이블을 봐야 하는지, 컬럼이 무엇을 의미하는지, 비즈니스 로직을 어떻게 연결해야 하는지, 어떤 조인 패턴이 신뢰 가능한지를 매번 다시 해석하는 일이었습니다.

그래서 비교적 익숙한 질문도 비싸졌습니다. 복잡한 요청은 4~10시간이 걸리기도 했고, 팀이 한 달에 처리할 수 있는 요청 수 자체를 제한했습니다.

접근

분석가가 실제로 데이터 모델을 이해하는 방식을 YAML 기반 구조화 메타데이터 레이어로 정리했습니다. 테이블 정의, 컬럼 의미, 키, 파티셔닝, 조인 패턴, 비즈니스 용어를 모두 AI가 재사용할 수 있는 형태로 만들었습니다.

그 위에서 AI 코딩 에이전트가 SQL을 생성하고 Athena에서 실행한 뒤 결과를 검증하도록 했습니다. 핵심은 모델을 마법처럼 쓰는 것이 아니라, 반복 활용 가능한 맥락을 먼저 잘 구조화하는 데 있었습니다.

워크플로우

AI 생성 SQL을 실제 분석 시스템으로 바꾸는 검증 루프

먼저 맥락을 좁히고, 그 다음 SQL을 생성·실행·검증해 사람이 검토할 수 있는 결과만 넘기도록 했습니다.

맥락 축소

테이블을 도메인별로 묶고 index 파일로 범위를 좁혀, 에이전트가 관련된 메타데이터만 보도록 했습니다.

SQL 생성

AI 코딩 에이전트가 구조화된 메타데이터를 기반으로 실제 비즈니스 질문에 맞는 SQL을 생성하고 수정했습니다.

실행과 QA

워크플로우는 Athena에서 쿼리를 실행하고, 실행 성공 여부와 결과 품질을 확인한 뒤에만 사람에게 전달했습니다.

지식의 재사용

한 번 구조화한 지식은 다음 요청에서 다시 쓸 수 있어, 매번 처음부터 데이터 모델을 복원하는 비용을 줄일 수 있었습니다.

시스템 흐름

질문에서 검증된 결과까지

이 시스템은 SQL 생성에서 끝나지 않았습니다. 실행, 검증, 반복 수정을 거쳐 신뢰 가능한 결과만 전달했습니다.

결과

구조화된 맥락이 속도와 처리량을 함께 바꿨습니다.

도입 전

4~10시간

일반적인 애드혹 분석 소요 시간.

도입 후

1시간 미만

구조화된 맥락과 검증 루프 도입 후 소요 시간.

처리량

20건에서 50건+

월간 애드혹 분석 처리 역량의 대략적 변화.

배운 점

실제 시스템의 핵심은 지식 아키텍처였습니다.

무엇이 중요했나

문제는 SQL 문자열을 생성하는 것이 아니라, 분석가가 데이터 모델과 비즈니스 로직을 해석하는 방식을 AI가 재사용할 수 있는 구조로 바꾸는 것이었습니다.

왜 효과가 있었나

테이블 의미, 조인 패턴, 비즈니스 용어를 충분히 구조화했기 때문에 단순한 타이핑 속도보다 반복 탐색 비용 자체를 줄일 수 있었습니다.

함께 보면 좋은 페이지

같은 문제를 다른 각도에서 다루는 케이스 스터디와 방법론입니다.

케이스 스터디

창고 그래프 기반 최적화 및 시뮬레이션

창고 그래프 구성과 시뮬레이션을 결합한 창고 최적화 워크플로우로, 완성형 최적화 엔진 이전 단계에서 재고 배치와 작업자 이동거리를 시험했습니다.

상태: 방향성 분석에 쓸 수 있는 사용 가능한 1차 시스템

방법론

재고 계획을 위한 Seasonality Index

SKU 단위 계절성을 추정하고 seasonal bucket으로 묶은 뒤 이를 카테고리 단위 재고 계획에 다시 연결하는 방법입니다.

형식: 상품 단위 seasonality와 seasonal bucket을 바탕으로 정리한 방법론 노트.