Spark 설치 후 kafka 관련 세팅

: spark 신규 설치 후에 kafka 관련 jar 파일 세팅


OSX 버전 업데이트 후에, 개발환경을 다시 세팅하는데 시행착오가 있어 아카이빙함

  • spark 2.2.0
  • kafka 0.11.0.1

버전은 위와 같고 아래는 kafka-client 와 spark-sql, spark-streaming 에서 kafka 연동이 필요할 때 필요한 jar 파일들이다.

반드시 kafka-client 의 버전과 spark-sql, spark-streaming 파일의 카프카 드라이버 버전이 동일해야 한다. (client 버전은 달라도 되지 않을까 했는데, kafka-client 버전이 다르니 연동시 오동작하는 문제 있음)

  1. kafka-clients-0.10.2.1.jar
    : kafka 사용시 필수
  2. spark-sql-kafka-0-10_2.11-2.2.0.jar
    : structured streaming 사용시
    https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html
  3. spark-streaming-kafka-0-10_2.11-2.2.0.jar
    : spark-streaming 사용시
    https://spark.apache.org/docs/2.2.0/streaming-kafka-0-10-integration.html
  4. maven repository
    https://mvnrepository.com/artifact/org.apache.kafka

Proudly powered by WordPress | Theme: Baskerville 2 by Anders Noren.

Up ↑