正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r的用户运行所有用户提交的任务,也支持以提交任务的用户运行任务。 配置描述 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”。在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 yarn.nodemanager
ALTER COLUMN 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列类型、列位置、列comment。 命令语法 ALTER TABLE tableName ALTER [COLUMN] col_old_name TYPE column_type
Tez WebUI界面无法展示Tez任务详情 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多,需要根据不同的业务规模将数据节点资源分配给特定的业务,从而达到资源独占使用的目的。当AZ容灾特性被开启时,为了保证AZ容灾生效,保障业务可靠性,在为RSGroup分配RegionServe
Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > 可靠性”,修改以下参数: 参数 参数说明 allow_transactions 此参数应用于是否支持事务, 取值范围:0,1。 默认值为0,不支持事务。 设置参数值为1,保存配置,重启服务生效支持事务。 _clickhouse
Flink作业大小表Join能力增强 本章节适用于MRS 3.3.0及以后版本。 Flink作业大小表Join Flink作业双流Join时存在大小表数据,通过内核broadcast策略确保小表数据发送到Join的task中,通过rebalance策略将大表数据打散到Join中,提高Flink
0之前版本:登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 查询管理”,单击“正在进行的慢查询”页签。 MRS 3.2.0及之后版本:登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 逻辑集群”,单击逻辑
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。
剪切字符串 概述 “剪切字符串”算子,截取已有字段的值,生成新的字段。 输入与输出 输入:需要截取的字段 输出:截取后生成的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
/user/oozie/share/lib/spark2x/ 当HDFS目录“/user/oozie/share”中的Jar包发生变化时,需要重启Oozie服务。 上传Oozie配置文件以及Jar包至HDFS: hdfs dfs -mkdir /user/exampleUser hdfs dfs -put
停止或卸载Flume客户端 操作场景 指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端:
登录FusionInsight Manager界面,选择“集群 > 服务 > Tez > TezUI(主机名称)”,在TezUI界面查看任务执行情况。 切换Hive服务默认执行引擎为Tez 登录FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置 > 全部配置 >
如何避免对历史数据进行minor compaction? 问题 如何避免对历史数据进行minor compaction? 回答 如果要先加载历史数据,后加载增量数据,则以下步骤可避免对历史数据进行minor compaction: 加载所有历史数据。 将major compact
查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环,与集群内Flume服务端一起都需要监控,用户通过FusionInsight Manager可以对Flume客户端进行监控,可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。
Spark DAG设计规范说明 操作场景 合理的设计程序结构,可以优化执行效率。在程序编写过程中要尽量减少shuffle操作,合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式:通过收费站时间、车牌号、收费站编号...... 逻辑:以下两种情况下判定这两辆车是同行车:
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多,需要根据不同的业务规模将数据节点资源分配给特定的业务,从而达到资源独占使用的目的。当AZ容灾特性被开启时,为了保证AZ容灾生效,保障业务可靠性,在为RSGroup分配RegionServe
Cluster Redis服务器列表 Redis实例的连接信息,格式为“IP地址:端口”,多个实例之间通过逗号分割。 Redis类型数据连接需配置该参数。 192.168.0.1:6379,192.168.0.2:6379 认证类型 SIMPLE:表示对接的服务是非安全模式,无需认证。
重新启动受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。
重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。
重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。