📘

데이터 연동은 엔터프라이즈 플랜인 경우 지원됩니다.

데이터 가져오기 (Data Import)

데이터 가져오기 (Data Import) 기능을 통해서 고객사의 AWS S3, GCP GCS 에 저장되어 있는 이벤트 데이터를 핵클로 보낼 수 있습니다. 데이터 가져오기 기능은 일별 (Daily) 로 데이터를 가져옵니다.

지원 가능 저장소 (Supported Cloud Storage)

사전 준비 (Requirements)

데이터 추출 전 다음 작업이 필요합니다.

• 이벤트 데이터를 저장할 저장소를 생성합니다. (AWS S3, GCP GCS 등)
• 이벤트 데이터를 저장할 저장소의 접근 하기 위한 Key 를 생성하고 권한을 부여합니다.
• 이벤트 데이터를 규격에 맞추어 가공해 일별로 저장합니다. (예시 2023-01-01, 2023-01-02 등)

Key 생성 및 권한 부여: GCP GCS

GCP GCS 의 경우 GCP IAM > 서비스 계정 키 생성 및 관리 문서를 참고해 Key 를 생성할 수 있습니다.

GCS 접근을 위한 Key 생성시 아래의 권한이 필요합니다.

storage.buckets.get
storage.objects.get
storage.objects.create
storage.objects.delete
storage.objects.list

Key 생성 및 권한 부여: AWS S3

AWS S3의 경우 다음 문서들을 참고해 Key를 생성하고 필요한 권한을 부여할 수 있습니다.

1. AWS Docs: IAM User 생성하기 문서를 따라 AWS IAM User 를 생성합니다.
2. AWS Docs: IAM Policy 생성하기 를 따라 Policy 를 생성하고 아래 코드로 첨부된 IAM Policy 정책을 포함해 생성합니다. 이후 이전 단계에서 생성한 IAM Role 에 IAM Policy 정책을 추가합니다.
3. AWS Docs: IAM Key 생성하기 를 따라 Key 를 생성합니다

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
              "s3:GetObject",
              "s3:GetObjectVersion",
              "s3:DeleteObject",
              "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::<bucket>/<prefix>/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": "arn:aws:s3:::<bucket>",
            "Condition": {
                "StringLike": {
                    "s3:prefix": [
                        "<prefix>/*",
                        "<prefix>/",
                        "<prefix>"                      
                    ]
                }
            }
        }
    ]
}

데이터 가져오기를 위한 데이터 형식 (Data Import Format)

데이터 가져오기는 현재 Apache Parquet 형식을 지원합니다. 아래는 전달되는 Parquet 형식 데이터의 스키마입니다. 아래 테이블에 설명된 포맷으로 가공해 저장합니다.

아래는 위 테이블에서 설명한 데이터 포맷에 대한 요약입니다.

root
 |-- ts: timestamp (nullable = false)
 |-- event_key: string (nullable = false)
 |-- identifiers: string (nullable = false)
 |-- insert_id: string (nullable = false)
 |-- metric_value: decimal(24,6) (nullable = false)
 |-- user_properties: map<string, string> (nullable = false)
 |-- event_properties: map<string, string> (nullable = false)
 |-- platform_properties: map<string, string> (nullable = false)

데이터 가공하기 (Processing for Data Import)

데이터를 앞서 언급한 Parquet Format 에 맞추어 가공후 Bucket 내에 일별로 저장합니다.

• 데이터 가공 완료되었을 경우 0 Byte 의 _SUCCESS (Signal) 파일을 만듭니다.
• 데이터 가공은 D-1 데이터를 포함합니다. 예를 들어, 1월 2일 데이터 가져오기 실행시에는 1월 1일 데이터를 가공해 놓으면 됩니다.

다음은 저장된 파티션 및 파일의 예시입니다.

# 2023-01-01 데이터
gcs://customer-data-hackle/test/prefix-custom/dt=2023-01-01/_SUCCESS
gcs://customer-data-hackle/test/prefix-custom/dt=2023-01-01/000000000000.parquet
gcs://customer-data-hackle/test/prefix-custom/dt=2023-01-01/000000000001.parquet

# 2023-01-02 데이터
gcs://customer-data-hackle/test/prefix-custom/dt=2023-01-02/_SUCCESS
gcs://customer-data-hackle/test/prefix-custom/dt=2023-01-02/000000000000.parquet
gcs://customer-data-hackle/test/prefix-custom/dt=2023-01-02/000000000001.parquet

데이터 가져오기 요청

데이터 가져오기 요청은 핵클로 문의 부탁드립니다. 데이터 가져오기를 위해 아래 정보가 필요합니다.

• 접근을 위해 권한이 부여된 Key
• AWS S3, GCS Bucket 이름 및 Bucket 내 데이터가 적재될 파티션 경로 (예시: gcs://customer-data-hackle/test/prefix-custom/dt=2023-01-01)
• 데이터 적재 시점 (예시: KST 13:00 이전까지 적재 완료)