spark1.6配置sparksql 的中繼資料存放區到postgresql中

標籤：

1：首先配置hive-site.xml

<configuration>   <property>       <name>javax.jdo.option.ConnectionURL</name>       <value>jdbc:postgresql://192.168.56.103:5432/sparksql</value>   </property>   <property>       <name>javax.jdo.option.ConnectionDriverName</name>       <value>org.postgresql.Driver</value>   </property>   <property>       <name>javax.jdo.option.ConnectionUserName</name>       <value>postgres</value>   </property>      <property>       <name>javax.jdo.option.ConnectionPassword</name>       <value>gaoxing</value>   </property></configuration>

2: 配置postgresql的jdbc jar路徑

在spark-default.properties中配置

spark.driver.extraClassPath=/opt/spark/lib/postgresql-9.4.jar

 

問題1

啟動thriftserver, 10000監聽連接埠死活打不開。把hive-site.xml重新命名，使用預設的derby資料庫，可以啟動

在網上找打答案：

原來hive自動建立postgresql的表示，postgresql會自動鎖死，你妹，這麼傻逼啊

需要到hive的源碼中抽取postgresql的sql語句，自動建立

https://github.com/apache/hive/blob/master/metastore/scripts/upgrade/postgres/hive-schema-1.2.0.postgres.sql

 

問題2

建立的表名是大寫，尼瑪死活不能查詢，問了下pg的dba說是模式的問題。

CREATE TABLE "CDS" (    "CD_ID" bigint NOT NULL);

pg加了引號以後就是大小寫敏感的，哥，不按套路出牌啊

 

spark1.6配置sparksql 的中繼資料存放區到postgresql中