检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1,每2个segment触发一次Minor合并。在Level2,每3个Level 1合并的segment将被再次合并为新的segment。 合并策略根据实际的数据大小和可用资源决定。 有效值为0-100。 carbon.major.compaction.size 1024mb Major
1,每2个segment触发一次Minor合并。在Level2,每3个Level 1合并的segment将被再次合并为新的segment。 合并策略根据实际的数据大小和可用资源决定。 有效值为0-100。 carbon.major.compaction.size 1024mb Major
开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。如果当前集群开启了Ranger鉴权,还需参考添加Hive的Ranger访问权限策略章节授予用户Hive管理员权限和UDF操作权限。 使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法: 创建CheckS
ResourceManager(RM) 负责集群中所有资源的统一管理和分配。接收来自各个节点(NodeManager)的资源汇报信息,并根据收集的资源按照一定的策略分配给各个应用程序。 NodeManager(NM) NodeManager(NM)是YARN中每个节点上的代理,管理Hadoop集群中单
数据,并且能够自动恢复。 Checkpoint:Flink基于Checkpoint实现容错,用户可以自定义对整个任务的Checkpoint策略,当任务出现失败时,可以将任务恢复到最近一次Checkpoint的状态,从数据源重发快照之后的数据。 Savepoint:一个Savepo
Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“dorisuser”,“用户类型”选择“人机”,“密码策略”默认,输入用户密码并确认密码,关联“dorisrole”角色,单击“确定”。 使用新建的dorisuser用户重新登录FusionInsight
/opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka
在“Access”页签单击“all - catalog, sessionproperty”所在行的编辑按钮进入编辑页面,在“Allow Conditions”区域新增策略允许条件,“Select User”列选择已创建的用户,例如“test”,“Permissions”列选择“Alter”权限,单击“Save”保存。
0版本集群: 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后,LDAP管理员密码将继承旧集群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS
mode模式,在HEADER中声明strict_mode=true即可开启,默认关闭strict mode。 strict mode用于对导入过程中的列类型转换进行严格过滤,策略如下: 对于列类型转换来说,如果strict mode为“true”,则错误的数据将被filter。错误数据是指原始数据并不为空值,在参与列类型转换后结果为空值的数据。
使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”
在该Master节点查询并记录。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
在该Master节点查询并记录。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
已经EOS的版本将提供过渡期服务支持截止至2024年8月30日,即在2024年8月30日之后EOS的版本停止提供服务。 版本EOX后的建议策略 版本升级:MRS LTS版集群支持原地版本升级能力,可参考具体的版本升级路径进行按需升级。 集群迁移:MRS普通版集群不支持原地升级,建议用户将集群迁移至最新的在网版本。
k、Flume、Hue、meta、Oozie、Loader、ClickHouse、HetuEngine、Sqoop 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及 耗时约5分钟 滚动重启
0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。 为节省OBS使用空间,需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。 配置文件中包
定“KMS Administrator”策略,否则在处理加密数据时OBS会返回“403 Forbidden”的错误信息。目前MRS服务会在默认委托“MRS_ECS_DEFAULT_AGENCY”绑定“KMS Administrator”策略,用户使用的自定义委托则需要用户自己绑定。
stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by 否 分区策略,用来确保相同一类的数据写入到kafka同一分区 database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中
stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by 否 分区策略,用来确保相同一类的数据写入到kafka同一分区 database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中
Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“dorisuser”,“用户类型”选择“人机”,“密码策略”默认,输入用户密码并确认密码,关联“dorisrole”角色,单击“确定”。 使用新建的dorisuser用户重新登录FusionInsight