파이프라인 생성하기

파이프라인이란?

디파이너리가 파트너 스토리지에 데이터를 내보내는 경로 정보와 조건을 포함한 일련의 방법입니다. 디파이너리에서 제공하는 파이프라인의 종류는 주기성과 일회성으로 나뉩니다.

파이프라인 유형에 따른 참고 사항

주기성 파이프라인

• 설정한 주기에 따라 데이터를 내보낼 경우 활용합니다.

• 최대 5개까지 설정이 가능합니다.

• 이벤트 데이터만을 지원합니다.

일회성 파이프라인

• 데이터를 1회에 걸쳐 내보낼 경우 활용합니다.

• 최대 생성 수 제한이 없습니다.

• 이벤트 데이터와 프로필 데이터를 모두 지원합니다.

• 유저 프로필 데이터의 경우 다음과 같은 추출 제한이 있습니다. : 자정을 기점으로 '활성' 상태의 유저 프로필에 한해 1일 1회 생성이 가능합니다.

• 추출 중에는 새로운 파이프 라인을 생성할 수 없습니다.

파이프라인 생성하기

경로

부가 설정 > 파트너 통합 > 파트너 싱크 목록 > 파트너 싱크 상세

파트너 상세 페이지로 이동

파트너 싱크 목록에서 우측 가장자리의 '⁝' 버튼을 클릭하여 각 파트너의 상세 페이지로 이동합니다.

파이프라인 생성 버튼 클릭 및 유형 선택

우측 상단의 '파이프라인 생성' 버튼을 클릭하면 펼쳐지는 목록에서 하나를 선택하여 생성 페이지로 넘어갑니다.

필요 정보 입력 후 생성 완료

파트너 별로 필수 입력 정보가 다를 수 있습니다.

Amazon S3 예시

파이프라인 현황 확인

파트너 싱크 상세 페이지에서 다음과 같은 파이프라인의 구체적인 현황을 확인하실 수 있습니다. 컬럼은 리스트 영역 우측 상단의 '컬럼 설정'을 통해 맞춤 설정이 가능합니다.

Amazon S3

제공 컬럼

항목	비고
생성 수 (주기성)	모든 파이프라인 수 (상태 무관)
활성 수 (주기성)	‘활성’ 상태에 해당하는 파이프라인 수
완료 수 (일회성)	추출 완료 수
오류 횟수 (최근 7일 내)	오류 발생 시 횟수와 상세 내용을 제공합니다.
마지막 싱크 일시	데이터 마지막 싱크 일시
상태	[일회성] • 완료 : 일회성 파일 생성 완료 • 추출 중 : 일회성 파일 생성 중 • 실패 : 실패(S3 인증 오류 등) [주기성] • 종료 : 반복 주기 종료 • 활성 : 계속 주기가 있는 경우 • 일시 중지 : 동기화 일시 중지 • 비활성 : 동기화 해제(* 재활성 불가) • 실패 : 실패(S3 인증 오류)
관리명	파이프라인 관리명
S3 Path	버킷 명 + 버킷 폴더
데이터	파이프라인 생성 시 선택 한 데이터 타입 • 이벤트 • 유저 프로필
주기	설정한 주기
생성자	최초 생성자
생성 일시	최초 생성 일시
수정자	최종 수정자
수정 일시	최종 수정 일시

파이프라인 오류 케이스

구분	에러 내용	해결 방법	노출 텍스트
unknown error	모든 시스템 예외	시스템 로그를 확인하여 원인을 분석하고 문제를 해결합니다.	unknown error 시스템 내부에서 예기치 않은 오류가 발생했습니다.
ddb update fail	DynamoDB 업데이트 실패	DynamoDB 테이블 상태 및 권한을 확인하고, 재시도합니다.	ddb update fail DynamoDB 테이블에 데이터를 업데이트하는 과정에서 오류가 발생하였습니다.
query error	쿼리 실행 실패	쿼리 문법이나 데이터베이스 연결 상태를 점검합니다.	failed_to_run_query 요청된 데이터베이스 쿼리가 실행되지 않고, 실패하였습니다.
invalid_parameter	유효하지 않은 추출 요청 파라미터	요청 파라미터의 형식과 값을 검토하고 올바르게 수정합니다.	invalid_parameter 제공된 요청 파라미터가 잘못되었거나 형식이 맞지 않습니다.
invalid arn	유효하지 않은 ARN	ARN이 올바른지 확인하고, 올바른 ARN을 제공하여 다시 시도합니다.	invalid arn 제공된 ARN(Role)을 통해 역할(Role)을 가져오지 못하였습니다.
invalid region or bucket	S3에 설정한 리전과 버킷명에 맞는 버킷이 없음	리전과 버킷 이름을 다시 확인하고, 존재하는 버킷으로 수정합니다.	invalid region or bucket 요청된 S3 리전과 버킷 이름이 일치하지 않거나 존재하지 않습니다.
invalid bucket folder format	S3에 설정된 버킷 폴더의 양식이 맞지 않음	폴더 경로의 형식을 검토하고 올바르게 수정한 후 재시도합니다.	invalid bucket folder format S3 버킷 폴더 경로의 형식이 올바르지 않거나, 경로가 존재하지 않습니다.
missing s3 policy	넘겨준 Role에 S3 정책이 미설정됨	역할에 S3 접근을 위한 정책을 추가하고 권한을 재설정합니다.	missing s3 policy 역할(Role)에 필요한 S3 접근 권한이 설정되지 않았습니다.
missing kms policy	넘겨준 Role에 KMS 정책이 미설정됨	역할에 KMS 접근을 위한 정책을 추가하고 권한을 재설정합니다.	missing kms policy 역할(Role)에 필요한 KMS 접근 권한이 설정되지 않았습니다.