spark sql读取hbase数据_c语言从文件中读取数据

spark sql读取hbase数据_c语言从文件中读取数据1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").

Spark读取Mysql,Redis,Hbase数据(一)

1、读取Mysql数据

object JdbcRddDemo {

  def getConn() = {
    Class.forName("com.mysql.jdbc.Driver").newInstance()
    DriverManager.getConnection("jdbc:mysql://hadoop000:3306/hive", "root", "root")
  }

  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("jdbcRdd").setMaster("local[*]")
    val sc = new SparkContext(sparkConf)

    val jdbcRDD = new JdbcRDD(
      sc,
      getConn,
      "select * from TBLS where TBL_ID >= ? and TBL_ID <= ?",
      1,
      10,
      2,
      rs => {
        val id = rs.getInt(1)
        val name = rs.getString(2)
        val age = rs.getInt(3)
        (id,name,age)
      }
    )

    jdbcRDD.collect().toBuffer
  }
}

代码100分

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/8527.html

(0)
上一篇 2023-02-26
下一篇 2023-02-26

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注