检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在弹出的窗口中,在指定一次执行记录前单击,打开此次任务运行的日志信息。 还可在任务列表指定任务的“操作”列,执行表1中的更多维护管理操作。 表1 更多维护管理功能 操作入口 说明 “更多 > 即时备份”或“执行” 启动处于准备或失败状态的备份恢复任务。已成功执行过的恢复任务不能重新运行。 “配置” 修改备份任务的参数。
144:9111/templeton/v1/mapreduce/jar" mapreduce/streaming(POST) 描述 以Streaming方式提交MR任务 URL https://www.myserver.com/templeton/v1/mapreduce/streaming 参数
144:9111/templeton/v1/mapreduce/jar" mapreduce/streaming(POST) 描述 以Streaming方式提交MR任务 URL https://www.myserver.com/templeton/v1/mapreduce/streaming 参数
异步Checkpoint机制程序 flink-dist_*.jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。 使用Flink Jar提交SQL作业程序 FlinkServer REST API程序 flink-dist_*.jar flink-table_*.jar 可在F
执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有提交Yarn任务的权限、创建和写入HBase表的权限和HDFS的操作权限: kinit 组件业务用户 如果当前集群未启用Kerberos认证,则执行以下命令设置Hadoop用户名:
完成”。 退出FusionInsight Manager,重新登录正常表示配置已成功。 使用omm用户登录主管理节点,执行以下命令刷新作业提交客户端配置: sh /opt/executor/bin/refresh-client-config.sh 如果有运行中的HetuEngine计算实例,需重启该计算实例。
通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: 通过运行日志可查看应用提交后的执行详情,例如,hbase-example样例运行成功后,显示信息如下: 2020-07-13 14:36:12,736 INFO [main]
enable设置为true。 使用非Spark-beeline方式提交作业时,需要在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”中设置该参数。 使用Spark-beeline方式提交作业时,需要在“客户端安装目录/Spark/spark/conf/spark-defaults
enable设置为true。 使用非Spark-beeline方式提交作业时,需要在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”中设置该参数。 使用Spark-beeline方式提交作业时,需要在“客户端安装目录/Spark/spark/conf/spark-defaults
√ x √ 运维通道授权 √ √ x √ 运维通道日志共享 √ √ x √ 查询告警列表 √ √ √ √ 订阅告警消息提醒 √ √ x √ 提交SQL语句 √ √ x √ 查询SQL结果 √ √ x √ 取消SQL执行任务 √ √ x √ MRS FullAccess策略内容 {
(可选)如表1所示,为HBase容灾操作过程中的可选配置项,您可以根据描述来进行参数配置,或者使用缺省提供的值。 表1 可选配置项 配置入口 配置项 缺省值 描述 “HMaster > 性能” hbase.master.logcleaner.ttl 600000 指定HLog的
只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 sql_id 是 String 参数解释: SQL的执行ID,即提交SQL语句返回结果中的sql_id。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求参数 无 响应参数 状态码: 200
Base等之间进行通信。那么Spark应用程序中需要写入安全认证代码,确保Spark程序能够正常运行。 安全认证有三种方式: 命令认证: 提交Spark应用程序运行前,或者在使用CLI连接SparkSQL前,在Spark客户端执行如下命令获得认证。 kinit 组件业务用户 配置认证:
在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”。 在“default”队列的“权限”列,勾选“提交”,单击“确定”保存。 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限 > default”,勾选表
usters/{cluster_id}/sql-execution/{sql_id}/cancel mrs:sql:cancel √ √ 提交SQL语句 POST/v2/{project_id}/clusters/{cluster_id}/sql-execution mrs:sql:execute
apache.org/confluence/display/Hive/HiveServer2+Clients。 指定租户 一般情况下,某用户提交的客户端会连接到该用户默认所属租户的JDBCServer上,若需要连接客户端到指定租户的JDBCServer上,可以通过添加--hiveconf
卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar,并将jar包放在客户端“$SPARK
通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: 通过运行日志可查看应用提交后的执行详情,例如,hbase-example样例运行成功后,显示信息如下: 2280 [main] INFOcom.huawei.hadoop
根据安全需求,FlinkServer界面回显FlinkSQL时,SQL中的“password”字段将显示为空,在回显状态下需要将密码信息补齐后再提交作业。 本章节仅适用于MRS 3.2.0至MRS 3.3.1版本及集群,MRS 3.3.1及之后的版本请参考创建FlinkServer作业写入数据至数据仓库服务(DWS)。
百分比超过阈值 ALM-16052 MetaStore创建表时访问元数据库时延超过阈值 ALM-16053 Hive的HQL最近5分钟平均提交时间超过阈值 ALM-17003 Oozie服务不可用 ALM-17004 Oozie堆内存使用率超过阈值 ALM-17005 Oozie非堆内存使用率超过阈值