检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HetuEngine SQL诊断功能 HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务,提升在线SQL运维能力,自动加速在线SQL分析任务,开启SQL诊断能力后,系统可实现如下能力: 自
AM通过此接口请求NM停止一系列已分配的Containers。 样例代码 YARN作业提交的样例代码详细可以参考MapReduce开发指南中的MapReduce访问多组件样例代码,实现建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。 父主题: YARN接口介绍
角色,单击“确定”。 选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDL WebUI界面,选择该作业所在行的“更多 > 停止”,停止CDL任务。任务停止成功后,再单击“启动”,重新启动该任务。 父主题: CDL故障排除
Kafka客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装集群客户端,例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载k
使用Yarn客户端提交任务 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下
HBase客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 操作视频 该视频为您介绍如何在MRS集群创建成功后,通过登录HBase客户端实现创建表,往表中插入数据并修改表数据等功能。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。
er实例,服务添加成功后,需重启Hue服务,详情请参考添加服务“用户指南> 管理集群> 组件管理> 管理服务操作”中的“添加服务”。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击HBase,进入“HBase Browser”页面。 新建HBase表
ices_ClientConfig scp Flink/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml
objects、dba_extents。 导入流程 用户通过Loader界面进行数据导入作业,导入流程如图1所示。 图1 导入流程示意 用户也可以通过shell脚本来更新与运行Loader作业,该方式需要对已安装的Loader客户端进行配置。 父主题: 数据导入
GB。 根据实际填写 选填 -ytm TaskManager进程内存,默认值:4GB。 根据实际填写 选填 -ynm Flink Yarn作业名称。 根据实际填写 必填 -ys TaskManager中slot个数。 2 选填 execution.checkpointing.interval
Hive样例工程的配置文件目录中(通常为“resources”文件夹)。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表4所示。 表4 配置文件 文件名称 作用 hivemetastore-site.xml 配置Hive详细参数。 hiveclient
永久函数,可以在多个会话中使用,不需要每次创建。 下面以编写一个AddDoublesUDF为例,说明UDF的编写和使用方法。 功能介绍 AddDoublesUDF主要用来对两个及多个浮点数进行相加。在该样例中可以掌握如何编写和使用UDF。 一个普通UDF必须继承自“org.apache.hadoop.hive
"FileNumber":1,"FileSize":5540} 1 row in set (0.01 sec) 可手动取消Broker Load作业状态不为“CANCELLED”或“FINISHED”的导入任务,取消时需要指定待取消导入任务的Label ,命令为: CANCEL LOAD
将其修改日志保存到大多数的JournalNode节点中,例如有3个JournalNode,则日志会保存在至少2个节点中。Standby节点监控JournalNodes的变化,并同步来自Active节点的修改。根据修改日志,Standby节点将变动应用到本地文件系统元数据中。一旦发
keytab 说明: “/home/flinkuser/keytab/”表示的是用户保存keytab文件的目录。 principal名为用于运行作业的用户名。 security.kerberos.login.principal: flinkuser 对于HA模式,如果配置了ZooKeeper,还需要设置ZK
park样例工程的配置文件目录中(通常为“resources”文件夹)。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 carbon.properties CarbonData配置文件。 core-site
使用Storm客户端 操作场景 该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”
HDFS客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“
使用Yarn客户端提交任务 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下
Hive客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端,具体请参考安装客户端章节。例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管