把Spark SQL的metadata儲存到mysql

標籤：

1：安裝配置mysqlyum install mysql mysql-serverservice mysqld startmysqladmin -u root  password newpasswordmysql -u root -p登入mysqlmysql>GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘%‘WITH GRANT OPTIONmyslq>FLUSH PRIVILEGES 2:配置hive-site.xml下載一個hive的安裝包，加壓後複製conf目錄下面的hive-default.xml.template到SPARK_HOME/conf中，重新命名為hive-site.xml修改4個重要屬性：1：javax.jdo.option.ConnectionURL         jdbc:mysql://192.168.1.93:3306/sparkmetadata?createDatabaseIfNotExist=true&characterEncoding=UTF-82：javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driver3：javax.jdo.option.ConnectionUserNameroot4: javax.jdo.option.ConnectionPasswordxxx 然後修改Hive-site.xml中所有的時間屬性，所有屬性的單位為s(秒),刪除s然後添加3個0,所有屬性的單位為ms的刪除ms,spark無法識別這些單位，而是把他們全當數文書處理。 3:啟動spark-sql在spark-sql的shell下面建立表，查看mysql的database:sparkmetadata中的表：TBLS是否包含該記錄，如果有說明一切OK。 

來自為知筆記(Wiz)

把Spark SQL的metadata儲存到mysql