检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按Znode数量”,进入“按Znode数量”的“阈值设置”页面,单击“操作”下的“修改”。参考“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > 配额”中参数“max.znode.count”的值,调大阈值。 图2 修改规则 在“资源使用(按二级Znode)”中,选择“ >
2。 说明: 启用Kerberos认证下,使用21005端口需要“allow.everyone.if.no.acl.found”参数值设置为true; 如果不设置此参数,操作会报错。 Kafka集群broker实例IP获取方法如下: 登录FusionInsight Manager,然后选择“集群
Oozie作业执行失败常用排查手段 根据任务在Yarn上的任务日志排查,首先把实际的运行任务,比如Hive SQL通过beeline运行一遍,确认Hive无问题。 出现“classnotfoundException”等报错,排查“/user/oozie/share/lib”路径下
的节点。对于小集群,可以将该功能关闭。 操作步骤 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce.map.speculative 设置是否并行执行某些映射任务的多个实例。true表示开启。
的节点。对于小集群,可以将该功能关闭。 操作步骤 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce.map.speculative 设置是否并行执行某些映射任务的多个实例。true表示开启。
Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。解决方法是修改业务逻辑,单线程插入数据到同一张表或同一个分区。 父主题: Hive常见问题
kafka.example.ProducerMultThread类的run方法中,用于实现多线程生产数据。 代码样例 /** * 指定Key值为当前ThreadId,发送数据。 */ public void run() { LOG.info("Producer: start.");
数据同步参数说明 表1 数据状态同步参数说明 参数 参数说明 数据表 Replicated*MergeTree系列引擎表表名。 所属数据库 数据表所在的数据库。 分片信息 数据表所在的ClickHouse分片。 同步状态 分为以下几种状态。 无数据:当前分片节点上该表没有数据。 已同步
资源组配置不合理或该资源组下提交的任务过多。 处理步骤 选择“集群 > 待操作集群的名称 > 服务 > Presto > 配置 > 全部配置”,修改“resource-groups”的值调整资源组配置,修改“ resourceGroupAlarm (Coordinator > 自定义 > resourceGroupAlarm)
enable_tls:触发使用OpenLDAP服务器安全连接的标志。 为纯文本(ldap://)协议指定“no”(不推荐)。 为LDAP over SSL/TLS (ldaps://)协议指定“yes”(建议为默认值)。 tls_minimum_protocol_version:SSL/TLS的最小协议版本。
地址。 以root用户登录主OMS数据库节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行ping 备OMS数据库心跳IP地址命令检查备OMS数据库节点是否可达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,然后查看告警列表中,该告警是否已清除。
如果使用到SparkJDBC作业,搜索并修改SPARK_EXECUTOR_MEMORY和SPARK_DRIVER_MEMORY两个参数取值,具体以提交的Spark作业的复杂度和内存需要为参考(一般调大)。 如果对核数有要求,可以搜索并修改spark.driver.cores和spark
DEBUG DEBUG表示记录系统及系统的调试信息 如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数,进入Yarn服务“全部配置”页面。 在左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存配置”,在弹出窗口中单击“确定”使配置生效。
户将获取的软件包复制到将要安装客户端的服务器文件目录。 客户端软件包名称格式为:“FusionInsight_Cluster_<集群ID>_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 后续步骤及章节以FusionInsight
云硬盘(系统盘和数据盘):云硬盘的大小 * 云硬盘单价 * 购买数量 * 购买时长 本例中,在第一个计费周期内MRS普通版集群的使用量为1316秒,单价可在MRS价格计算器中查询。 抹零金额 华为云产品定价精度为小数点后8位(单位:元),因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时,仅扣除到小
自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
当执行结果输出到文件或者其他由Flink应用程序指定途径,您可以通过指定文件或其他途径获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例: 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task
number”配置项,调大服务在ZooKeeper上的顶层目录的数量配额,单击“保存”。 如果告警对应的顶级Znode服务组件为ClickHouse,则请修改“clickhouse.zookeeper.quota.node.count”参数的配置项。 观察界面告警是否清除。 是,处理完毕。
principal:指定ZooKeeper服务端使用principal; zookeeper.sasl.client:如果MRS集群是安全模式,该值设置为“true”,否则设置为“false”,设置为“false”的情况下,“zookeeper.sasl.clientconfig”和“zookeeper.server
principal:指定ZooKeeper服务端使用principal; zookeeper.sasl.client:如果集群是安全模式,该值设置为“true”,否则设置为“false”,设置为“false”的情况下,“zookeeper.sasl.clientconfig”和“zookeeper.server