检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
use。 前提条件 在FusionInsight Manager创建一个角色,添加ClickHouse逻辑集群的管理权限以及Loader作业分组权限。创建Loader作业的业务用户,关联该角色和并添加用户组yarnviewgroup。 ClickHouse表已创建,确保用户已授权
扩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。 添加Task节点 MRS集群创建成功之后,如果需要规划Task类型的节点组进行弹性伸缩,可通过手动添加节点组的方式进行配置。 “自定义”类型集群添加Task节点操作步骤: 在集群详情页面,选择“节点管理”页签,单击
anager的WebUI界面自行添加已经通过MRS控制台创建的Kafka集群,用于管理多个Kafka集群。 登录KafkaManager的WebUI界面。 在页面上方选择“Cluster > Add Cluster” 。 图1 添加集群 设置待添加集群的参数,如下参数请参考样例,其他参数默认不需要修改。
执行以下命令配置环境变量。 source bigdata_env 首次登录IoTDB客户端前需执行以下步骤生成SSL客户端证书: 执行以下命令生成客户端SSL证书: keytool -noprompt -import -alias myservercert -file ca.crt -keystore
WebUI界面。 前提条件 MRS集群已安装Spark组件,并且正常运行。 已创建具有Spark管理操作权限的用户,用户组添加hadoop、hive、supergroup,主组添加hadoop。 操作步骤 使用具有Spark管理操作权限的用户登录Manager页面,选择“集群 > 服务 > Spark”。
创建MRS IAM自定义权限策略 如果系统预置的MRS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考策略及授权项说明。 目前支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务
Manager,选择“集群 > SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Spark的SQL防御规则。 Spark SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0001”,SQL语句中count
Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如: --conf spark.eventQueue.size=50000 父主题:
Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 参考如何判断某个服务是否使用了Ranger鉴权,确认服务是否启用了Ranger鉴权? 是,执行3。 否,编辑角色,根据服务的权限控制类别添加业务开发时需要的权限,参见表1。
HetuEngine交互查询引擎概述 HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面,用户可通过HSConsole界面快速添加数据源。 当前版本HetuEngine支持对接的数据源如下表所示。 表1 HetuEngine对接数据源一览表 HetuEngine模式 数据源
Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如: --conf spark.eventQueue.size=50000 父主题:
Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 参考如何判断某个服务是否使用了Ranger鉴权,确认服务是否启用了Ranger鉴权? 是,执行3。 否,编辑角色,根据服务的权限控制类别添加业务开发时需要的权限,参见表1。
配置ClickHouse对接OpenLDAP认证系统 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。
若用户创建集群时已经绑定弹性公网IP,如图1所示。 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面,请参考添加安全组规则。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。
原因分析 问题1: 最常见的无法提交任务原因是认证失败, 还有可能是参数设置不正确。 问题2: 集群默认会把分析节点的hadoop相关jar包添加到任务的classpath中,如果提示yarn的包找不到,一般都是因为hadoop的相关配置没有设置。 问题3: 常见的场景是使用--files上传了user
ClickHouse使用OpenLDAP认证 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。
解决方法:重启Spark服务端的JDBCServer和spark-sql,再删除此类UDF。 在Hive端创建UDF时未在创建语句中指定jar包路径,而是通过add jar命令添加UDF的jar包如add jar /opt/test/two_udfs.jar,这种场景下,在其他服务中删除UDF时就会出现ClassNotfound的错误,从而导致删除失败。
properties”,如果没有,则添加编译路径。 在IntelliJ IDEA中选择“File > Project Structure > Modules”,然后将内含“log4j.properties”和“UserInfo.properties”的“conf”文件夹添加为Source Folders。
如需给其他用户开通访问MRS Manager的权限,请执行6-9,添加对应用户访问公网的IP地址为可信范围。 单击弹性公网IP后边的“添加安全组规则”,如图3所示。 图3 集群详情 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对
据集群及其他相关云资源的统一管理。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签,您最多可以给集群添加10个标签。 节点的标签仅支持在节点创建完成后,在节点的标签页添加标签,您最多可以给节点添加10个标签。 父主题: 集群管理