检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ive-examples”目录下的样例工程文件夹“python3-examples”。 进入“python3-examples”文件夹。 根据python3的版本,选择进入“dependency_python3.6”或“dependency_python3.7”或“dependency_python3
ive-examples”目录下的样例工程文件夹“python3-examples”。 进入“python3-examples”文件夹。 根据python3的版本,选择进入“dependency_python3.6”或“dependency_python3.7”或“dependency_python3
Execution,Deployment > Maven”,选择“Maven home directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply”、“OK”。 图8
在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改,可以单击恢复。 单击“保存配置”,根据界面提示保存配置。 通过Manager修改实例参数 登录Manager,选择“集群 > 服务”。 MRS 2.x及之前版本,单击“服务管理”。
bigdata_env 执行以下命令,修改系统用户密码。 kpasswd 系统用户名称 例如修改系统用户“test1”密码。 kpasswd test1 根据界面提示输入原始密码后重新设置新密码,默认密码复杂度要求: 密码字符长度至少为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符
待操作集群的名称 > 服务 > Flume > 配置”,选择“全部配置”,选择“Flume > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前flume server设置的堆内存无法满足当前数据传输所需的堆内存,建议堆内存调整为:
该告警是否清除。 是,操作结束。 否,执行7。 选择“运维 > 告警 > 阈值设置 > 待操作的集群名称 > Doris > 租户资源”,根据实际业务适当调大该告警的阈值和平滑次数。等待任务结束之后,在告警列表中查看该告警是否清除。 是,操作结束。 否,执行8。 收集故障信息 在FusionInsight
-safemode get命令:“Safe mode is ON.”。 “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行4.b。 否,执行5。 在集群节点使用客户端,执行hdfs dfsadmin -safemode leave。 等
服务> Oozie > 配置”,选择“全部配置”,在搜索栏里搜索“GC_OPTS”参数。将“-XX:MaxDirectMemorySize”的值根据实际情况调大,并单击“保存”,单击“确定”。 Oozie的GC参数配置建议: 建议将“-XX:MaxDirectMemorySize”值设
将写入到hot_cold_table表的f列超过一天不超过两天的数据从冷存储归档到热存储中,即修改“COLD_BOUNDARY”的值为“172800”,在实际业务场景中请根据实际需求进行设置: alter 'hot_cold_table', {NAME=>'f', COLD_BOUNDARY=>'172800'}
Execution,Deployment > Maven”,选择“Maven home directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply”、“OK”。 图8
xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 安全登录 请根据实际情况,修改“userName”为实际用户名,例如“developuser”。 在Windows环境下和Linux环境下请使用对应的路径获取方式。
待操作集群的名称 > 服务 > Flume > 配置”,选择“全部配置”,选择“Flume > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前flume server设置的堆内存无法满足当前数据传输所需的堆内存,建议堆内存调整为:
> 待操作集群的名称 > Doris > 队列 > BE的各种定期汇报任务在FE端的队列长度 (FE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待两分钟,查看告警是否清除。
单击“授权记录”,单击权限列表中各个策略的名称。 在“策略内容”中搜索“Action”,并查看是否包含“obs”。 是,执行12。 否,执行11。 根据配置Doris冷热分离操作指导创建OBS权限策略。等待15~20分钟左右,在告警列表中查看该告警是否清除。 是,操作结束。 否,执行12。
两者的乘积。 需要综合考虑核心表业务请求量以及时延要求,核心表时延要求越高/请求越多,建议设置越小的值,通常可设置为:0.5~1.0。 可根据实际业务需求单独或同时开启两种过载控制,RegionServer队列过载控制适用于存在大请求过载的场景,RegionServer handler过载控制适用于高并发过载的场景。
待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”。将“GC_OPTS”参数值根据实际情况调大。 -Xmx一般配置为ZooKeeper数据容量的2倍,如果ZooKeeper容量达到2GB,则GC_OPTS建议配置为: -Xms4G
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置 > DataNode > 系统”。将“GC_OPTS”参数值根据实际情况调大。 单个DataNode实例平均Block数量和DataNode内存的对应关系参考值如下: 单个DataNode实例平均Block数量达到2
写入失败。 图2 基于QJM的HDFS架构 HDFS可靠性 MRS使用HDFS的副本机制来保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即共2个副本。HDFS副本数可通过“dfs.replication”参数查询。 当MRS集群中Core节点规格选择为非本地盘
”页面。 节点类型选择“Task”,“部署角色”参数默认选择“NM”部署NodeManager角色,则新增节点组为Task节点组,其他参数根据需要配置。 图1 添加Task节点组 非“自定义”类型集群添加Task节点操作步骤: 在集群详情页面,选择“节点管理”页签,单击“配置Ta