# 파이프라인 생성하기

## **파이프라인이란?**

디파이너리가 파트너 스토리지에 데이터를 내보내는 경로 정보와 조건을 포함한 일련의 방법입니다.\
디파이너리에서 제공하는 파이프라인의 종류는 **주기성**과 **일회성**으로 나뉩니다.

## **파이프라인 유형에 따른 참고 사항**

### **주기성 파이프라인**

* 설정한 주기에 따라 데이터를 내보낼 경우 활용합니다.
* 최대 5개까지 설정이 가능합니다.
* 이벤트 데이터만을 지원합니다.

### **일회성 파이프라인**

* 데이터를 1회에 걸쳐 내보낼 경우 활용합니다.
* 최대 생성 수 제한이 없습니다.
* 이벤트 데이터와 프로필 데이터를 모두 지원합니다. 
* 유저 프로필 데이터의 경우 다음과 같은 추출 제한이 있습니다.\
  : 자정을 기점으로 '활성' 상태의 유저 프로필에 한해 1일 1회 생성이 가능합니다.
* 추출 중에는 새로운 파이프 라인을 생성할 수 없습니다.

## **파이프라인 생성하기**

#### **경로**

부가 설정 > 파트너 통합 > 파트너 싱크 목록 > 파트너 싱크 상세

### **파트너 상세 페이지로 이동**

파트너 싱크 목록에서 우측 가장자리의 '⁝' 버튼을 클릭하여 각 파트너의 상세 페이지로 이동합니다.

### **파이프라인 생성 버튼 클릭 및 유형 선택**

우측 상단의 '파이프라인 생성' 버튼을 클릭하면 펼쳐지는 목록에서 하나를 선택하여 생성 페이지로 넘어갑니다.

<figure><img src="/files/EfOhaxSd3WBLAiGlozRf" alt=""><figcaption></figcaption></figure>

## **필요 정보 입력 후 생성 완료**

파트너 별로 필수 입력 정보가 다를 수 있습니다.

<figure><img src="/files/yqWtpBHwPrxuddVlgymw" alt=""><figcaption><p>Amazon S3 예시</p></figcaption></figure>

## **파이프라인 현황 확인**

파트너 싱크 상세 페이지에서 다음과 같은 파이프라인의 구체적인 현황을 확인하실 수 있습니다.\
컬럼은 리스트 영역 우측 상단의 '컬럼 설정'을 통해 맞춤 설정이 가능합니다.

### **Amazon S3**

#### **제공 컬럼**

<table><thead><tr><th width="162">항목</th><th>비고</th></tr></thead><tbody><tr><td><strong>생성 수</strong><br>(주기성)</td><td>모든 파이프라인 수 (상태 무관)</td></tr><tr><td><strong>활성 수</strong><br>(주기성)</td><td>‘활성’ 상태에 해당하는 파이프라인 수</td></tr><tr><td><strong>완료 수</strong><br>(일회성)</td><td>추출 완료 수</td></tr><tr><td><strong>오류 횟수</strong><br>(최근 7일 내)</td><td>오류 발생 시 횟수와 상세 내용을 제공합니다.</td></tr><tr><td><strong>마지막 싱크 일시</strong></td><td>데이터 마지막 싱크 일시</td></tr><tr><td><strong>상태</strong></td><td><p><strong>[일회성]</strong></p><p>• 완료 : 일회성 파일 생성 완료</p><p>• 추출 중 : 일회성 파일 생성 중</p><p>• 실패 : 실패(S3 인증 오류 등)</p><p></p><p><strong>[주기성]</strong></p><p>• 종료 : 반복 주기 종료</p><p>• 활성 : 계속 주기가 있는 경우</p><p></p><p>• 일시 중지 : 동기화 일시 중지</p><p>• 비활성 : 동기화 해제(* 재활성 불가)</p><p></p><p>• 실패 : 실패(S3 인증 오류)</p></td></tr><tr><td><strong>관리명</strong></td><td>파이프라인 관리명</td></tr><tr><td><strong>S3 Path</strong></td><td>버킷 명 + 버킷 폴더</td></tr><tr><td><strong>데이터</strong></td><td><p>파이프라인 생성 시 선택 한 데이터 타입</p><p>• 이벤트</p><p>• 유저 프로필</p></td></tr><tr><td><strong>주기</strong></td><td>설정한 주기</td></tr><tr><td><strong>생성자</strong></td><td>최초 생성자</td></tr><tr><td><strong>생성 일시</strong></td><td>최초 생성 일시</td></tr><tr><td><strong>수정자</strong></td><td>최종 수정자</td></tr><tr><td><strong>수정 일시</strong></td><td>최종 수정 일시</td></tr></tbody></table>

## **파이프라인 오류 케이스**

<table><thead><tr><th width="154">구분</th><th width="182">에러 내용</th><th>해결 방법</th><th>노출 텍스트</th></tr></thead><tbody><tr><td>unknown error</td><td>모든 시스템 예외</td><td>시스템 로그를 확인하여 원인을 분석하고 문제를 해결합니다.</td><td><mark style="color:red;"><strong>unknown error</strong></mark><br>시스템 내부에서 예기치 않은 오류가 발생했습니다.</td></tr><tr><td>ddb update fail</td><td>DynamoDB 업데이트 실패</td><td>DynamoDB 테이블 상태 및 권한을 확인하고, 재시도합니다.</td><td><mark style="color:red;"><strong>ddb update fail</strong></mark><br>DynamoDB 테이블에 데이터를 업데이트하는 과정에서 오류가 발생하였습니다.</td></tr><tr><td>query error</td><td>쿼리 실행 실패</td><td>쿼리 문법이나 데이터베이스 연결 상태를 점검합니다.</td><td><mark style="color:red;"><strong>failed_to_run_query</strong></mark><br>요청된 데이터베이스 쿼리가 실행되지 않고, 실패하였습니다.</td></tr><tr><td>invalid_parameter</td><td>유효하지 않은 추출 요청 파라미터</td><td>요청 파라미터의 형식과 값을 검토하고 올바르게 수정합니다.</td><td><mark style="color:red;"><strong>invalid_parameter</strong></mark><br>제공된 요청 파라미터가 잘못되었거나 형식이 맞지 않습니다.</td></tr><tr><td>invalid arn</td><td>유효하지 않은 ARN</td><td>ARN이 올바른지 확인하고, 올바른 ARN을 제공하여 다시 시도합니다.</td><td><mark style="color:red;"><strong>invalid arn</strong></mark><br>제공된 ARN(Role)을 통해 역할(Role)을 가져오지 못하였습니다.</td></tr><tr><td>invalid region or bucket</td><td>S3에 설정한 리전과 버킷명에 맞는 버킷이 없음</td><td>리전과 버킷 이름을 다시 확인하고, 존재하는 버킷으로 수정합니다.</td><td><mark style="color:red;"><strong>invalid region or bucket</strong></mark><br>요청된 S3 리전과 버킷 이름이 일치하지 않거나 존재하지 않습니다.</td></tr><tr><td>invalid bucket folder format</td><td>S3에 설정된 버킷 폴더의 양식이 맞지 않음</td><td>폴더 경로의 형식을 검토하고 올바르게 수정한 후 재시도합니다.</td><td><mark style="color:red;"><strong>invalid bucket folder format</strong></mark><br>S3 버킷 폴더 경로의 형식이 올바르지 않거나, 경로가 존재하지 않습니다.</td></tr><tr><td>missing s3 policy</td><td>넘겨준 Role에 S3 정책이 미설정됨</td><td>역할에 S3 접근을 위한 정책을 추가하고 권한을 재설정합니다.</td><td><mark style="color:red;"><strong>missing s3 policy</strong></mark><br>역할(Role)에 필요한 S3 접근 권한이 설정되지 않았습니다.</td></tr><tr><td>missing kms policy</td><td>넘겨준 Role에 KMS 정책이 미설정됨</td><td>역할에 KMS 접근을 위한 정책을 추가하고 권한을 재설정합니다.</td><td><mark style="color:red;"><strong>missing kms policy</strong></mark><br>역할(Role)에 필요한 KMS 접근 권한이 설정되지 않았습니다.</td></tr></tbody></table>


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.dfinery.ai/user-guide/begin-to-use-dfinery/partner-setting/export/create-pipeline.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.