No more memory available to add rows to an internal table

Azure Data Factory 를 사용하여 SAP Table 로부터 RFC method를 사용하여 데이터를 가져올 때, 아래와 같이 Out of Memory(OOM) 문제가 발생한다면? 

No more memory available to add rows to an internal table

RFC method 방식으로 한 번에 가져올 수 있는 데이터 처리량을 넘어선 경우 위와 같은 오류가 발생할 수 있습니다. 이 경운 PartitionOption 을 사용하여 데이터를 split 하면 한 번에 처리하는 데이터를 줄여줌으로써 OOM 을 피할 수 있습니다. 

만약 1년치 데이터를 가져와야 한다고 할 때, 아래와 같이 파티션 옵션을 사용하면 12개의 파티션으로 나누기 때문에 한 번에 데이터를 가져오는 과정에서 발생하는 OOM 을 방지할 수 있습니다. 다음은 1년치 데이터를 한 월별 12개의 파티션으로 나눠 데이터를 가져오는 샘플 예제입니다. 

Partition option: On calendar month
Partition column name: logdata
Partition upper bound: 201912
Partition lower bound: 201901
Max partitions number: 12 (01월부터 12월까지 월단위로 12개의 파티션 사용) 

필요에 따라 YYYYMMDD 형식으로 일단위로 데이터 분할도 가능하며 지원하는 파티션 옵션의 종류는 아래 링크에서 확인할 수 있습니다. 

Copy data from an SAP table by using Azure Data Factory
https://docs.microsoft.com/en-us/azure/data-factory/connector-sap-table#sap-table-as-source

Copy data from an SAP table - Azure Data Factory

작성자: Lai Go / 작성일자: 2020.09.14