Spark 서버 메모리보다 큰작업 처리: 편집 역사

2024년 10월 15일 (화)

• 최신이전 02:112024년 10월 15일 (화) 02:11‎ Devcafe 토론 기여‎ 2,567 바이트 +2,567‎ 새 문서: == Spark 서버 메모리보다 큰작업 처리 == === 서버의 스파크의 메모리 용량 보다 큰 파일(페타 바이트 등)을 읽는 방법=== # Spark는 작업이 호출(action)될 때만 데이터 읽기를 시작한다. # 작업이 호출되면 Spark가 파티션의 데이터를 로드 한다. # 동시에 불러온 파티션의 수는 사용가능한 코어 수에 따라 다르다. # Spark에서 1partition = 1 core = 1 로 생각 할 수도 있다. # 동시...