scala入门教程
scala是一门多范式的编程语言,一种类似java的编程语言,设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。
scala编程语言抓住了很多开发者的眼球。
如果你粗略浏览scala的网站,你会觉得scala是一种纯粹的面向对象编程语言,而又无缝地结合了命令式编程和函数式编程风格。
scala代表了一个新的语言品种,它抹平了这些人为划分的界限。
scala有几项关键特性表明了它的面向对象的本质。
例如,scala中的每个值都是一个对象,包括基本数据类型在内,连函数也是对象。
另外,类可以被子类化,而且Scala还提供了基于mixin的组合。
如何使用scala开发spark作业,并访问hive
1、为了让Spark能够连接到Hive的原有数据仓库,我们需要将Hive中的hive-site.xml文件拷贝到Spark的conf目录下,这样就可以通过这个配置文件找到Hive的元数据以及数据存放。
在这里由于我的Spark是自动安装和部署的,因此需要知道CDH将hive-site.xml放在哪里。经过摸索。该文件默认所在的路径是:/etc/hive/conf下。
同理,spark的conf也是在/etc/spark/conf。
此时,如上所述,将对应的hive-site.xml拷贝到spark/conf目录下即可
如果Hive的元数据存放在Mysql中,我们还需要准备好Mysql相关驱动,比如:mysql-connector-java-5.1.22-bin.jar。

