检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过JDBC访问Spark SQL样例程序（Scala） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： val sqlList = new ArrayBuffer[String]
JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询中间结果的临时目录，如果客户端程序在Lin
系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中的“src\storm-examples”目录下的“storm-examples”样例工程文件夹。 将准备运行环境时获取的配置文
表或数据读写等操作。 开发思路 根据上述的业务场景进行功能分解，需要开发的功能点如表2所示。 表2 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建HBase表。 2 导入用户数据。 请参见向HBase表中插入数据。 3 增加“教育信息”列
表或数据读写等操作。 开发思路 根据上述的业务场景进行功能分解，需要开发的功能点如表2所示。 表2 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建HBase表。 2 导入用户数据。 请参见向HBase表中插入数据。 3 增加“教育信息”列
默认使用JavaSerializer，通过配置让KryoSerializer作为数据序列化器来提升序列化性能。 在开发应用程序时，添加如下代码来使用KryoSerializer作为数据序列化器。 实现类注册器并手动注册类。 package com.etl.common; import
配置自定义rowkey实现 使用BulkLoad工具批量导入HBase数据时，支持用户自定义的组合rowkey实现。用户可编写rowkey实现代码，导入时根据该代码逻辑进行组合rowkey导入。 配置自定义rowkey实现步骤如下： 用户编写自定义rowkey的实现类，需要继承接口，该接口所在
能实现单会话上的幂等性，这里的会话指的是Producer进程的一次运行，即重启Producer进程后，幂等性不保证。 开启方法： 二次开发代码中添加 “props.put(“enable.idempotence”，true)”。 客户端配置文件中添加 “enable.idempotence
配置自定义rowkey实现 使用BulkLoad工具批量导入HBase数据时，支持用户自定义的组合rowkey实现。用户可编写rowkey实现代码，导入时根据该代码逻辑进行组合rowkey导入。 配置自定义rowkey实现步骤如下： 用户编写自定义rowkey的实现类，需要继承接口，该接口所在
能实现单会话上的幂等性，这里的会话指的是Producer进程的一次运行，即重启Producer进程后，幂等性不保证。 开启方法： 二次开发代码中添加“props.put(“enable.idempotence”，true)”。 客户端配置文件中添加“enable.idempotence
默认使用JavaSerializer，通过配置让KryoSerializer作为数据序列化器来提升序列化性能。 在开发应用程序时，添加如下代码来使用KryoSerializer作为数据序列化器。 实现类注册器并手动注册类。 package com.etl.common; import
默认使用JavaSerializer，通过配置让KryoSerializer作为数据序列化器来提升序列化性能。 在开发应用程序时，添加如下代码来使用KryoSerializer作为数据序列化器。 实现类注册器并手动注册类。 package com.etl.common; import
是，处理完毕。 否，执行5。 检查Oozie与Yarn连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][YARN]”，在日志中查看具体告警原因
ECTION”配置项的值与HDFS的“hadoop.rpc.protection”配置项的值保持一致。 远端备份至HDFS，不支持HDFS加密目录。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 根据业务需要，规划备份的类型、周期和策略等规格，并检
否，执行5。 检查Oozie与DBService连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][DB Service]”，在日志中查看
否，执行5。 检查Oozie与ZooKeeper连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][ZooKeeper]”，在日志中查看具
是，处理完毕。 否，执行5。 检查Oozie与HDFS连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][HDFS]”，在日志中查看具体告警原因
{zkQuorum}/kafka --replication-factor 1 --partitions 3 --topic {Topic} 启动样例代码的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考编包并运行Spark应用章节中导出jar包的操作步骤。
配置修改、重启、容量规划、组件性能优化以及集群上任何运维操作等。 不负责基于MRS集群之上的客户业务应用开发问题答疑和处理，例如业务设计、代码开发、作业性能调优和业务迁移等。 在MRS集群组件服务无明显异常或明确产品质量缺陷的情况下，不负责单个大数据作业运行异常问题的排查分析。
/flume-manage.sh restart 根据实际业务场景配置作业。 MRS 3.x及之后版本部分参数可直接在Manager界面配置，可参考非加密传输或加密传输。 在“properties.properties”文件中配置，以配置SpoolDir Source+File Channel+Kafka
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
