检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置“表输入”算子，生成三个字段： 设置了数据连接器后，可以单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。 此操作会覆盖表格内已有数据。 单击“自动识别”后，建议手动检查系统自动识别出的字段类型，确保与表中实际的字段类型相符合。
Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解
集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。 默认取值： 不涉及 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数
序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到需要读取的数据位置，从而可以高效地获取到所需要的数据。 在实际应用中，很多场景是查询某一个列值为“XXX”的数据。HBase提供了Filter特性去支持这样
Scala”。 图21 选择Scala语言 当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置 图22 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。 图23 Create
的值相同。 true Python Spark Python Spark是Spark除了Scala、Java两种API之外的第三种编程语言。不同于Java和Scala都是在JVM平台上运行，Python Spark不仅会有JVM进程，还会有自身的Python进程。以下配置项只适用于Python
的值相同。 true Python Spark Python Spark是Spark除了Scala、Java两种API之外的第三种编程语言。不同于Java和Scala都是在JVM平台上运行，Python Spark不仅会有JVM进程，还会有自身的Python进程。以下配置项只适用于Python
然后Spark会把应用的代码（传递给SparkContext的JAR或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。 图2 Spark应用运行架构 Spark采用Master和Worker的模式，如图3所示。用户在Spark客户端提交应用程序，调度
数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 Flink技术栈如图1所示。 图1 Flink技术栈
数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 Flink技术栈如图1所示。 图1 Flink技术栈
Scala”。 图19 选择Scala语言 当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置 图20 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。 图21 Create
Scala”。 图19 选择Scala语言 当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置 图20 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。 图21 Create
效果如图3所示。 图3 选项设置为0 例如：某个DataNode中挂载了3个数据存放卷，“dfs.datanode.failed.volumes.tolerated”配置为1，则当该DataNode中的其中一个数据存放卷不能使用的时候，该DataNode会继续提供服务。如图4所示。
网络上互通。 （可选）若运行Python作业，需额外配置如下：(适用于MRS 3.3.0及以后版本） 使用root用户登录flink客户端安装节点，使用如下命令确认环境已成功安装Python 3.6或以后版本。 python3 -V 进入python3安装路径，安装路径如“/sr
从上表可以看出，item表具有较好的过滤效果，因此CBO将item表的Join顺序提前。 CBO未开启时的Join示意图如图3所示： 图3 未开启CBO CBO开启后的Join示意图如图4所示： 图4 开启CBO 可以看出，优化后中间结果由495000000条减少到了2900000条，执行时间也大幅减少。
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
确认导入路径和工程名称，单击“Next”。 图15 Import Project 确认导入工程的root目录，默认即可，单击“Next”。 图16 Import Project 确认IDEA自动识别的依赖库以及建议的模块结构，默认即可，单击“Next”。 确认工程所用JDK，然后单击“Next”。 图17 Select
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
确认导入路径和工程名称，单击“Next”。 图15 Import Project 确认导入工程的root目录，默认即可，单击“Next”。 图16 Import Project 确认IDEA自动识别的依赖库以及建议的模块结构，默认即可，单击“Next”。 确认工程所用JDK，然后单击“Next”。 图17 Select
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
