检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper、Kerberos的安全认证,这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。提供了LoginUtil相关接口来完成这些配置,如下样例代码中只需要配置用户自己申请的账号名称和对应的keytab文件名称即可,由于人机账号的keytab会随用户密码过期而失效,故建议使用机机账号进行配置。
在Yarn原生页面显示ApplicationMaster启动两次均失败,任务退出,如图1信息: 图1 ApplicationMaster启动失败 查看ApplicationMaster日志看到如下异常信息: Exception in thread "main" java.lang.Exc
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查每个写操作平均所需时间是否达到上限。 在FusionInsight Manager页面,选择“运维
phoenix.mapreduce.CsvBulkLoadTool -md '|^[' -t TEST -i /tmp/data.csv 执行以下命令,查看导入表TEST的数据: sqlline.py SELECT * FROM TEST LIMIT 10; 父主题: 增强HBase BulkLoad工具数据迁移能力
Hive不支持此参数,请配置“Map数”。 - 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
CHILD”。 在程序运行时添加运行参数,分别为hive-site.xml与spark-defaults.conf文件的路径。 运行程序。 查看调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查每个读操作平均所需时间是否达到上限。 在FusionInsight Manager页面,选择“运维
reaming、SQL、JDBC客户端程序以及Spark on HBase四种不同场景的样例工程。 帮助用户快速了解Spark各部件的编程接口。 开发Spark应用 编译并运行程序 将开发好的程序编译并运行,用户可在本地Windows开发环境中进行程序调测运行,也可以将程序编译为
以omm用户通过备管理节点IP登录备管理节点,重复5~6。 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh,查看管理节点的“HAAllResOK”是否为“Normal”,并可以重新登录FusionInsight Manager表示操作成功。 更换HA证书(MRS
Hive不支持此参数,请配置“Map数”。 - 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导入作业
服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文
id=hoodie-delta-streamer offset.rang.limit=10000 指定HoodieDeltaStreamer执行参数(具体参数配置,请查看官网https://hudi.apache.org/ )执行如下命令: spark-submit --master yarn --jars
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查CPU使用率是否达到上限。 在FusionInsight Manager页面,选择“运维
退服期间如果有写入数据操作,可能导致数据丢失,请谨慎操作。快速退服相关参数如下,可以在Manager界面的HDFS服务参数全部配置页面搜索查看: dfs.namenode.decommission.force.enabled:是否开启DataNode快速退服特性。设置为“true”表示开启。
Maven的clean和compile 单击“Run 'Demo.main()'”运行应用程序工程。 图6 运行程序 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志
Maven的clean和compile 单击“Run 'Demo.main()'”运行应用程序工程。 图7 运行程序 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志
系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。 zookeeper.sasl.client:如果集群是安全模式,该值设置为“true”,否则设置为“false”,
10/3.1.5.0.3及之后补丁版本集群,执行9。MRS 3.3.0之前版本集群请手动清除告警,操作结束。 否,执行10。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行10。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业