检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Strom应用业务步骤,打出source.jar。 操作步骤 提交拓扑(
COMMENT 语法 COMMENT ON TABLE name IS 'comments' 描述 设置表的注释信息,可以通过设置注释信息为NULL来删除注释。 示例 修改表users的注释为“master table”,表的注释语句可以通过show create table tablename语句查看:
“服务”:单击勾选所需服务。 “主机”:填写服务所部署主机的IP,也可单击勾选所需主机。 最大并发数:根据界面要求设置日志收集时的最大节点并发数量。(MRS 3.3.0及之后版本支持该参数) 单击右上角的设置日志的起始收集时间“开始时间”和“结束时间”。 单击“下载”完成日志下载。 下载的日志压缩包中
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值? 回答 Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如:
务数量,并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务 > 队列root正在挂起的任务”修改阈值。 当挂起状态任务数小于或等于阈值时,告警清除。
如何关闭ZooKeeper的SASL认证? 问: 怎么关闭ZooKeeper SASL认证? 答: 登录FusionInsight Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值:zookeeper
创建FlinkServer权限角色 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限,才能够更新数据、查询数据和删除数据等。 前提条件
本章节主要介绍如何配置ClickHouse保证副本间数据强一致。 参数配置 配置ClickHouse副本间数据强一致优先级别:单条语句设置 > 会话级别设置 > 全局默认设置。 副本间强一致必须要结合原子性一起使用,否则在插入过程中出现异常,无法回退成功。 登录FusionInsight Manager页面,选择“集群
执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数,限制executor的核数和内存。 例如设置如下: set hive.execution.engine=spark; set spark.executor
policies”中的策略,启用新的scheduler监控。设置为“true”表示启用监控,并根据scheduler的信息,启动抢占的功能。设置为“false”表示不启用。 false yarn.resourcemanager.scheduler.monitor.policies 设置与scheduler配合的“
创建FlinkServer权限角色 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限,才能够更新数据、查询数据和删除数据等。 前提条件
问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。 回答 建议将"blob.storage.directory"配置选项设置成“/tmp
Topic删除操作时提示“AdminOperationException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时,发现Topic无法被设置。 kafka-topics.sh --delete --topic test4 --zookeeper 10.5
Hudi表作为Source表时建议设置限流 Hudi表作为Source表,防止上限超过流量峰值,导致作业出现异常带来不稳定因素,因此建议设置限流,限流上限应该为业务上线压测的峰值。 使用时需添加如下参数: 'read.rate.limit' = '1000' 设置execution.checkpointing
的列后角色将拥有该列的权限,列权限设置完成。 否,修改已有HBase角色的列权限,表格将显示已单独设置权限的列,执行5。 角色新增列权限,在“资源名称”的输入框输入列名称并设置列的权限。角色修改列权限,可以在“资源名称”的输入框输入列名称并设置列权限,也可以在表格中直接修改列的权
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值? 回答 Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如:
应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小,AM最大资源百分比设置过小。 监控阈值设置过小。 处理步骤 检查NodeManager节点资源 在FusionInsight Manager界面,选择“集群
的列后角色将拥有该列的权限。列权限设置完成。 否,修改已有HBase角色的列权限,表格将显示已单独设置权限的列,执行5。 角色新增列权限,在“资源名称”的输入框输入列名称并设置列的权限。角色修改列权限,可以在“资源名称”的输入框输入列名称并设置列权限,也可以在表格中直接修改列的权
com/templeton/v1/jobs 参数 参数 描述 fields 如果设置成*,那么会返回每个job的详细信息。如果没设置,只返回任务ID。现在只能设置成*,如设置成其他值,将出现异常。 jobid 如果设置了jobid,那么只有字典顺序比jobid大的job才会返回。比如,如果
com/templeton/v1/jobs 参数 参数 描述 fields 如果设置成*,那么会返回每个job的详细信息。如果没设置,只返回任务ID。现在只能设置成*,如设置成其他值,将出现异常。 jobid 如果设置了jobid,那么只有字典顺序比jobid大的job才会返回。比如,如果