检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“dorisuser”,“用户类型”选择“人机”,“密码策略”默认,输入用户密码并确认密码,关联“dorisrole”角色,单击“确定”。 使用新建的dorisuser用户重新登录FusionInsight
0版本集群: 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后,LDAP管理员密码将继承旧集群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS
开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。如果当前集群开启了Ranger鉴权,还需参考添加Hive的Ranger访问权限策略章节授予用户Hive管理员权限和UDF操作权限。 使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法: 创建CheckS
在该Master节点查询并记录。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
在该Master节点查询并记录。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
已经EOS的版本将提供过渡期服务支持截止至2024年8月30日,即在2024年8月30日之后EOS的版本停止提供服务。 版本EOX后的建议策略 版本升级:MRS LTS版集群支持原地版本升级能力,可参考具体的版本升级路径进行按需升级。 集群迁移:MRS普通版集群不支持原地升级,建议用户将集群迁移至最新的在网版本。
k、Flume、Hue、meta、Oozie、Loader、ClickHouse、HetuEngine、Sqoop 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及 耗时约5分钟 滚动重启
0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。 为节省OBS使用空间,需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。 配置文件中包
定“KMS Administrator”策略,否则在处理加密数据时OBS会返回“403 Forbidden”的错误信息。目前MRS服务会在默认委托“MRS_ECS_DEFAULT_AGENCY”绑定“KMS Administrator”策略,用户使用的自定义委托则需要用户自己绑定。
使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”
stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by 否 分区策略,用来确保相同一类的数据写入到kafka同一分区 database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中
stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by 否 分区策略,用来确保相同一类的数据写入到kafka同一分区 database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中
mode模式,在HEADER中声明strict_mode=true即可开启,默认关闭strict mode。 strict mode用于对导入过程中的列类型转换进行严格过滤,策略如下: 对于列类型转换来说,如果strict mode为“true”,则错误的数据将被filter。错误数据是指原始数据并不为空值,在参与列类型转换后结果为空值的数据。
历史数据默认保存30天超期后未清理的问题。 解决调整时区为UTC后Manager页面实时监控数据为空的问题。 解决Manager页面租户资源下的全局用户策略内容不分页的问题。 Manager页面新增显示yarn on cce按钮。 解决新建集群通过专线访问Manager页面,需要手动修改Tomcat配置的问题。
以上所有的操作只要拥有Hive的admin权限以及对应的HDFS目录权限就能做相应的操作。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 父主题: 准备Hive应用开发环境
true:开启Join下推。 false(默认值):关闭Join下推。 false join-pushdown.strategy 用于评估Join操作是否被下推的策略。 AUTOMATIC(默认值):启用基于成本的连接下推。 EAGER:尽可能下推Join。即使表统计信息不可用,EAGER也可以下推Jo
k、Flume、Hue、meta、Oozie、Loader、ClickHouse、HetuEngine、Sqoop 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及 耗时约5分钟 滚动重启
Kerberos认证用到的配置文件,在本地选择2获取的“krb5.conf”文件。 krb5.conf 开启数据源鉴权 是否同时使用Hive数据源的权限策略进行鉴权。 HetuEngine服务Ranger不启用时必须选“是”,Ranger启用后选“否”。 否 配置“Metastore配置”,参数配置请参考表2。
Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“dorisuser”,“用户类型”选择“人机”,“密码策略”默认,输入用户密码并确认密码,关联“dorisrole”角色,单击“确定”。 使用新建的dorisuser用户重新登录FusionInsight
NameNode节点长时间满负载导致客户端无响应 问题 当NameNode节点处于满负载、NameNode所在节点的CPU 100%耗尽时,导致NameNode无法响应,对于新连接到该NameNode的HDFS客户端,能够主备切换连接到另一个NameNode,进行正常的操作,而对