检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置HetuEngine样例工程 操作场景 客户端安装程序目录中包含了HetuEngine开发样例工程,将从工程导入样例开始学习,本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小
选择“集群 > 待操作集群的名称 > 服务 > Hue > 实例”,查看Hue服务主备是否正常。 是,执行7。 否,执行3。 单击“配置”,检查Hue配置项“HUE_FLOAT_IP”和“HTTP_PORT”是否正确。 是,执行4。 否,修改正确的Hue服务浮动IP地址与端口。 在业务网络执行telnet
在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? 问题现象 在MRS集群外节点上安装了客户端后并执行kinit命令报错如下: -bash kinit Permission denied 执行java命令也报错如下: -bash: /xxx/java:
IP Address函数 contains(network, address) → boolean 当CIDR网络中包含address时返回true。 示例: 返回true: SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255');
在“实例”页面勾选Core节点所在的JobServer实例,选择“更多 > 删除实例”,删除Core节点上的JobServer实例。 查看JobGateway服务是否正常,在MRS控制台作业管理页签中,提交作业,查看作业功能是否正常。 父主题: 使用JobGateway
使用JDBC连接Impala执行查询后,Impalad的session连接长时间没提交查询,但连接没有自动断开。 回答 如果要永久生效,登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad.customized.confi
用户可以设置参数use_metadata_cache值为1或者为true,通过RocksDB将元数据预先缓存到内存。 使用ClickHouse客户端连接到ClickHouse服务端,具体请参考ClickHouse客户端使用实践。 设置表元数据预先缓存能力。 对历史表设置元数据缓存: ALTER TABLE <table
”中的“租户查询并发数总和”代表租户整体的并发情况。 服务级别监控 在FusionInsight Manager首页,选择“集群 > 服务 > Doris > 图表”,在“图表分类”中选择“租户资源”,即可查看Doris服务相关资源所有租户的使用情况。 实例级别监控 在FusionInsight
参数名 取值样例 说明 名称 doris_link 连接的名称,自定义。 数据库服务器 x.x.x.x Doris实例FE的IP。 可通过登录MRS Doris集群的Manager界面,选择“集群 > 服务 > Doris > 实例”,查看任一FE实例的业务IP地址获取。 端口 9030
Hive支持的传统关系型数据库语法说明 Hive支持如下传统关系型数据库语法: Grouping EXCEPT、INTERSECT Grouping 语法简介: 当group by语句带with rollup/cube选项时,Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive
即使任务失败,Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。 为避免出现这种场景,您可以参考修改集群服务配置参数,进入Yarn“全部配置”页面。在搜索框搜索“yarn.nodemanager.linux-container-executor.cgroups
如'<','<=','>','>=','!>','!<'。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 spark.sql.dropPartitionsInBatch
次关联操作无效。 为已有的租户关联ClickHouse服务 在FusionInsight Manager页面,选择“租户资源”,选中需要操作的租户,选择“服务关联”页签,单击“关联服务”,具体参数如下表所示: 参数 描述 服务 选择“ClickHouse” 关联类型 选择“共享”
前提条件 Hive、HDFS组件功能正常。 操作步骤 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive.local.dir.confblacklist”配置项。 在该配置项中添加用户要重点保护的数据库、表或目录路径。
Oozie定时任务没有准时运行如何处理 问题 在Hue或者Oozie客户端设置执行Coordinator定时任务,但没有准时执行。 回答 设置任务时,需要使用UTC时间。 例如在“job.properties”中配置“start=2016-12-20T09:00Z”。 修改配置后重新启动定时任务即可。
native作为SQL执行引擎来读取ORC数据,默认为hive。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.orc.enableVectorizedReader
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),如果分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。
时间,当检测到JobHistory进程的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。 用户可通过“系统设置 > 阈值配置 > 服务 > Spark > JobHistory的GC时间 > JobHistory的总GC时间”修改阈值。 当JobHistory进程 GC时间小于或等于阈值时,告警恢复。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的容量使用率已经超过规定的阈值,如果不及时处