[Cloudera - 5] Sqoop으로 MYSQL에서 Hive로 import하기

저번 글에서는 MYSQL에서 HDFS로 먼저 데이터를 옮기고 다시 HDFS에서 Hive로 옮겨봤습니다.

이번에는 MYSQL에서 Hive로 바로 데이터를 옮기는 것을 스쿱을 사용해서 해보겠습니다.

 

 

hive cli에서 show databases를 해보면 저번에 만들었던 hdfs_retail_db를 확인할 수 있습니다.

 

이번에는 hive_retail_db라는 이름으로 database를 생성합니다.

 

sqoop import 명령어를 입력해줍니다.

HDFS로 옮길 때와 차이점은 --hive-database 옵션으로 옮기고자 하는 database를 입력해주고

--hive-import 옵션을 명시해줍니다.

 

hive_retail_db에서 쿼리를 사용해보면 성공적으로 데이터가 import된 것을 확인할 수 있습니다.

MYSQL에서 Hive로 바로 import할 때는 테이블을 따로 만들지 않아도 자동적으로 테이블이 생성하고 column의 데이터 타입도 자동으로 잡아주는 것을 확인할 수 있습니다.