태그와 ABAC (Attribute-Based Access Control)

-- 테이블에 태그 추가
ALTER TABLE production.ecommerce.customers
  SET TAGS ('sensitivity' = 'high', 'domain' = 'ecommerce');

-- 컬럼에 태그 추가
ALTER TABLE production.ecommerce.customers
  ALTER COLUMN email SET TAGS ('pii' = 'true', 'pii_type' = 'email');

ALTER TABLE production.ecommerce.customers
  ALTER COLUMN phone SET TAGS ('pii' = 'true', 'pii_type' = 'phone');

ALTER TABLE production.ecommerce.customers
  ALTER COLUMN ssn SET TAGS ('pii' = 'true', 'pii_type' = 'ssn');

-- 스키마에 태그 추가
ALTER SCHEMA production.ecommerce
  SET TAGS ('domain' = 'ecommerce', 'owner_team' = 'data-platform');

-- 카탈로그에 태그 추가
ALTER CATALOG production
  SET TAGS ('environment' = 'production');

-- 테이블 태그 제거
ALTER TABLE production.ecommerce.customers
  UNSET TAGS ('sensitivity');

-- 컬럼 태그 제거
ALTER TABLE production.ecommerce.customers
  ALTER COLUMN email UNSET TAGS ('pii_type');

-- 테이블의 태그 확인
SELECT tag_name, tag_value
FROM system.information_schema.table_tags
WHERE catalog_name = 'production'
  AND schema_name = 'ecommerce'
  AND table_name = 'customers';

-- 컬럼의 태그 확인
SELECT column_name, tag_name, tag_value
FROM system.information_schema.column_tags
WHERE catalog_name = 'production'
  AND schema_name = 'ecommerce'
  AND table_name = 'customers';

-- PII 태그가 있는 모든 컬럼 찾기
SELECT
  catalog_name,
  schema_name,
  table_name,
  column_name,
  tag_value AS pii_type
FROM system.information_schema.column_tags
WHERE tag_name = 'pii'
  AND tag_value = 'true';

-- sensitivity가 high인 모든 테이블 찾기
SELECT
  catalog_name,
  schema_name,
  table_name
FROM system.information_schema.table_tags
WHERE tag_name = 'sensitivity'
  AND tag_value = 'high';

-- 고객 테이블: 기밀 등급, GDPR 대상
ALTER TABLE production.ecommerce.customers
  SET TAGS (
    'sensitivity' = 'confidential',
    'compliance' = 'gdpr',
    'domain' = 'ecommerce',
    'retention' = '7y'
  );

-- 이메일 컬럼: PII
ALTER TABLE production.ecommerce.customers
  ALTER COLUMN email SET TAGS ('pii' = 'true', 'pii_type' = 'email');

-- 주문 테이블: 내부용
ALTER TABLE production.ecommerce.orders
  SET TAGS (
    'sensitivity' = 'internal',
    'domain' = 'ecommerce'
  );

-- 개념적 예시 (ABAC 정책)
-- "pii=true 태그가 있는 모든 컬럼에 마스킹 정책을 자동 적용"

-- 1. 태그 부여 (데이터 엔지니어)
ALTER TABLE customers ALTER COLUMN email SET TAGS ('pii' = 'true');
ALTER TABLE employees ALTER COLUMN email SET TAGS ('pii' = 'true');
ALTER TABLE partners ALTER COLUMN contact_email SET TAGS ('pii' = 'true');

-- 2. ABAC 정책 설정 (보안 관리자)
-- → 'pii=true' 태그가 있는 모든 컬럼에
--   자동으로 마스킹 함수가 적용됩니다
-- → 새로 추가되는 테이블의 컬럼에 'pii=true' 태그를 부착하면
--   별도 마스킹 설정 없이 자동으로 정책이 적용됩니다

-- 데이터 엔지니어에게 태그 적용 권한 부여
GRANT APPLY TAG ON TABLE production.ecommerce.customers TO `data_engineers`;

-- 스키마 수준에서 태그 적용 권한 부여
GRANT APPLY TAG ON SCHEMA production.ecommerce TO `data_engineers`;

-- PII 컬럼명 패턴 정의 테이블
CREATE OR REPLACE TABLE production.governance.pii_patterns (
  pattern STRING,
  pii_type STRING,
  description STRING
);

INSERT INTO production.governance.pii_patterns VALUES
  ('%email%', 'email', '이메일 주소'),
  ('%phone%', 'phone', '전화번호'),
  ('%mobile%', 'phone', '휴대폰 번호'),
  ('%ssn%', 'ssn', '주민등록번호'),
  ('%jumin%', 'ssn', '주민번호'),
  ('%birth%', 'birth_date', '생년월일'),
  ('%address%', 'address', '주소'),
  ('%card_number%', 'card', '카드번호'),
  ('%account_no%', 'account', '계좌번호');

-- 태그 미부착 PII 컬럼 식별 쿼리
SELECT
  c.table_catalog,
  c.table_schema,
  c.table_name,
  c.column_name,
  p.pii_type,
  CASE WHEN ct.tag_name IS NOT NULL THEN '태그 있음' ELSE '⚠️ 태그 누락' END AS status
FROM system.information_schema.columns c
CROSS JOIN production.governance.pii_patterns p
LEFT JOIN system.information_schema.column_tags ct
  ON c.table_catalog = ct.catalog_name
  AND c.table_schema = ct.schema_name
  AND c.table_name = ct.table_name
  AND c.column_name = ct.column_name
  AND ct.tag_name = 'pii'
WHERE LOWER(c.column_name) LIKE p.pattern
  AND c.table_catalog = 'production';

# AI 함수를 활용한 PII 자동 탐지 (개념)
# 실제 구현 시 Databricks의 ai_classify 또는 외부 NER 모델을 활용합니다

def detect_pii_columns(table_name: str) -> list:
    """테이블의 각 컬럼에서 PII 패턴을 탐지합니다"""

    # 1. 각 STRING 컬럼에서 샘플 100행 추출
    # 2. 정규식 패턴 매칭 (이메일, 전화번호, 주민번호 등)
    # 3. 매칭률이 80% 이상이면 해당 PII 유형으로 분류

    pii_patterns = {
        'email': r'^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$',
        'phone': r'^01[016789]-?\d{3,4}-?\d{4}$',
        'ssn': r'^\d{6}-?\d{7}$',
        'card': r'^\d{4}-?\d{4}-?\d{4}-?\d{4}$'
    }
    # ... 탐지 로직

# 테이블 생성 후 자동 태깅 (파이프라인의 post-processing 단계)
from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

def auto_tag_table(catalog, schema, table):
    """신규 테이블 생성 후 자동으로 PII 태그를 부착합니다"""

    # 1. PII 패턴에 매칭되는 컬럼 식별
    columns = spark.sql(f"DESCRIBE TABLE {catalog}.{schema}.{table}").collect()

    pii_column_patterns = {
        'email': 'email', 'phone': 'phone', 'mobile': 'phone',
        'ssn': 'ssn', 'jumin': 'ssn', 'address': 'address'
    }

    # 2. 매칭된 컬럼에 태그 부착
    for col in columns:
        col_name_lower = col.col_name.lower()
        for pattern, pii_type in pii_column_patterns.items():
            if pattern in col_name_lower:
                spark.sql(f"""
                    ALTER TABLE {catalog}.{schema}.{table}
                    ALTER COLUMN {col.col_name}
                    SET TAGS ('pii' = 'true', 'pii_type' = '{pii_type}')
                """)
                print(f"Tagged {col.col_name} as pii_type={pii_type}")