OpenFlow

개요

OpenFlow는 비주얼 워크플로 캔버스에서 데이터 흐름을 노드와 선으로 설계하면, 이를 표준 Apache Airflow DAG(Python)로 자동 변환해 배포하는 GUI ETL 빌더입니다. 설계는 캔버스에서 하고, 실행은 검증된 Airflow가 맡습니다.

ETL 작업은 여전히 코드로만 만들어집니다. Airflow는 강력하지만 DAG를 Python으로 직접 작성해야 해서 현업 데이터 담당자가 손대기 어렵고, 파이프라인의 전체 흐름은 코드 속에 흩어져 한눈에 파악되지 않습니다. OpenFlow는 그 사이를 잇습니다.

이렇게 동작합니다

캔버스 설계 → 속성·컬럼 자동 보강 → 버전 저장 → DAG 코드 생성·검증 → Airflow 배포·실행

툴박스에서 노드를 끌어다 놓고 선으로 연결한 뒤 커넥션·테이블·컬럼을 폼에서 고르면, 백엔드가 워크플로를 Airflow DAG 코드로 변환하고 문법 검증까지 마친 뒤 DAG 폴더에 배치합니다. 이후 스케줄링·재시도·실행 이력은 Airflow가 담당합니다.

주요 기능

비주얼 설계 캔버스

드래그&드롭으로 파이프라인을 구성합니다. 격자 스냅, 미니맵, 확대/축소, 그룹 노드 중첩(서브플로·반복그룹), 노드 교체를 지원하며, 600노드 규모의 대용량 캔버스도 안정적으로 다룹니다. 흐름 자체가 곧 문서가 됩니다.

메타데이터가 캔버스를 따라 흐릅니다

컬럼을 손으로 적지 않는 것이 OpenFlow의 차별점입니다.

커넥션 → 테이블 → 컬럼 실시간 조회 — 등록된 DB 커넥션에서 테이블 코멘트, 컬럼명, 데이터 타입, 컬럼 코멘트까지 가져옵니다. (PostgreSQL · MySQL · Oracle)
추출 노드 자동 채움 — DB 노드에 추출 노드를 연결하면 대상과 컬럼이 자동 설정됩니다.
내부데이터 컬럼 상속 — 상류 노드의 컬럼이 다음 단계로 자동 전파됩니다.
적재 매핑 자동 구성 — 소스↔타깃 컬럼 매핑을 자동으로 만들고 모달에서 조정합니다.

노드 카탈로그 14종

데이터 3종(Database, CSV, 내부데이터), 처리 6종(DB·CSV 추출/적재, Filter, Join), 제어 3종(분기, 합류, 사용자확인), 그룹 2종(서브플로, 반복그룹)을 제공합니다. 모든 노드 설정은 JSON Schema 기반 폼으로 제공되어 필수값과 선택지가 강제됩니다.

표준 Airflow DAG 생성 — 벤더 종속 없음

생성물은 평범한 Airflow DAG Python 파일입니다. 노드는 태스크로, 연결선은 의존성 (A >> B)으로 변환되고 문법 검증을 거칩니다. PythonOperator, PostgresOperator, EmailOperator, Slack 알림을 지원하며, 캔버스 하단에는 생성될 의존성 표기가 실시간으로 표시됩니다. 만들어진 DAG는 OpenFlow 없이도 기존 Airflow에서 그대로 동작합니다.

설계 자산 관리와 버전

프로젝트 > 워크플로 > 노드 3단 트리로 탐색하고, 저장할 때마다 캔버스가 새 버전으로 쌓여 언제든 이전 설계로 되돌릴 수 있습니다. 소프트 삭제로 실수를 복구하고, 조회 전용/편집권 모델로 동시 편집 충돌을 막습니다. 워크플로는 JSON으로 주고받고, 캔버스는 PNG·PDF로 내보내 보고서에 첨부합니다.

자격증명은 한 곳에서

DB 접속 정보는 Airflow Connections에만 저장되고 OpenFlow는 참조만 합니다. 인증·세션과 테넌트 단위 데이터 격리는 플랫폼이 담당해, 다른 조직의 데이터는 서버가 읽기 자체를 차단합니다.

대표 활용 시나리오

일배치 DB 동기화 — 운영 DB의 필요한 컬럼만 뽑아 분석 DB로 매일 적재. Database → DB 추출 → 내부데이터 → DB 적재 → Database
파일 정제 후 알림 — 매일 도착하는 CSV를 조건으로 걸러 저장하고 담당자에게 메일.
조건 분기와 승인 게이트 — 검증 결과에 따라 경로를 나누고, 이상 징후 시 담당자 확인을 거쳐 진행.
반복 그룹으로 다건 처리 — 여러 테이블에 같은 패턴을 한 번만 그려 반복 실행.

기술 구성

React 18 + React Flow 기반 프론트엔드, Python FastAPI 백엔드(Jinja2 템플릿 렌더링과 AST 문법 검증), Apache Airflow 2.8 실행 엔진으로 구성됩니다. 설계 자산의 저장·인증· 테넌트 격리는 오픈데이터모델러·LiveSQL과 동일한 사내 공통 플랫폼 기반을 공유하여, 데이터 모델 → 쿼리 → 파이프라인으로 이어지는 작업 흐름을 한 플랫폼에서 다룹니다.