检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加HetuEngine的Ranger访问权限策略 策略添加后,需等待30秒左右,待系统生效。 组件每次启动都会检查组件默认的Ranger Service是否存在,如果不存在则会创建以及为其添加默认Policy。如果用户在使用过程
选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。 设置Loader作业调度的操作权限 (包括Scheduler的编辑、删除、是否生效权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业调度”。 在指定作业调度行的“权限”列,勾选“编辑”。
次登录后会提示该密码过期,请按照提示修改密码。如果密码丢失将不可找回,请妥善保管。 执行以下命令,重置组件运行用户密码。此操作对所有服务器生效。 cpw组件运行用户名 例如重置admin密码:cpw admin 集群中,默认的密码复杂度要求: 密码字符长度为8~32位。 至少需要
单击“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,然后单击“确定”,成功后配置生效。 日志格式 JobGateway的日志格式如下所示: MRS 3.3.1-LTS之前版本: 表3 日志格式 日志类型 格式 示例 运行日志
然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看ClickHouse导入的文件内容。 父主题: 创建CDL作业
量保持一致。 更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Brok
e节点数目分布是否大致相等,如果差异过大,调整DataNode节点所属机架,保证各个机架上的DataNode数量大致相等。重启HDFS服务生效。 服务在重启过程中将不可用。另外,依赖该服务的上层服务也将受到影响。 选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 在“
“yarn.nodemanager.unhealthy.alarm.threshold”的值来配置阈值(修改该参数不用重启Yarn,就可以生效)。 阈值默认为零,当不健康节点数超过该值时,触发告警,小于阈值时会自动消除告警。 告警属性 告警ID 告警级别 是否自动清除 18003
${DBSERVICE_DATA_DIR}/postgresql.conf 删除“default_transaction_read_only = on”。 执行以下命令,使配置生效: gs_ctl reload -D ${DBSERVICE_DATA_DIR} 登录FusionInsight Manager,选择“运维
量保持一致。 更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Brok
/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中,即使主机重启,配置依然能生效。 net.ipv4.neigh.default.gc_thresh1 = 512 net.ipv4.neigh.default.gc_thresh2
/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中,即使主机重启,配置依然能生效。 net.ipv4.neigh.default.gc_thresh1 = 512 net.ipv4.neigh.default.gc_thresh2
然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看DWS导入的文件内容。 父主题: 创建CDL作业
面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”,完成后重启服务使配置生效。 日志格式 Loader的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log
全部配置”,修改yarn.nodemanager.lost.alarm.threshold的值来配置阈值(修改该参数不用重启Yarn,就可以生效)。 阈值默认为零,当丢失节点数超过该值时,触发告警,小于阈值时会自动消除告警。 告警属性 告警ID 告警级别 是否自动清除 18002 重要
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
convertInsertingPartitionedTable=true命令在Spark会话中配置。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight
ve_client”,记作“$HCAT_CLIENT”,并确保已经安装好Hive和Yarn客户端。运行环境变量使“HCAT_CLIENT”生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息(以客户端安装路径为“/opt/client”为例):
当前版本支持的Doris租户资源配置列表如表1所示。 表1 租户资源配置 资源 取值范围 描述 备注 CPU配额权重 1~100 租户占用CPU资源的相对权重 相对占比(竞争时生效),例如有两个租户A和B执行查询,对应该值分别为A:10,B:20,此时租户A的CPU占用率为三分之一,即为:10/(10+20)。如果另