检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改,需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.prop
protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改,需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.prop
安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备Spark连接集群配置文件 准备工程 Spark提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Spark工程。
no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 使用Flink 1.15.0及以前版本对接Kafka,在扩容Kafka
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C
列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101.10:21007 batchSize Flume一次发送的事件个数(数据条数)。 61200 dataDirs 缓冲区数据保存目录,默认为运行目录。配置多个盘上的目录可以提升传输效率,多个目
conf”配置文件中进行设置。 snappy spark.dynamicAllocation.enabled 是否使用动态资源调度,用于根据规模调整注册于该应用的executor的数量。目前仅在YARN模式下有效。 JDBCServer默认值为true,client默认值为false。 false
conf”配置文件中进行设置。 snappy spark.dynamicAllocation.enabled 是否使用动态资源调度,用于根据规模调整注册于该应用的executor的数量。目前仅在YARN模式下有效。 JDBCServer默认值为true,client默认值为false。 false
securityConfig = ";saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;";
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 对系统的影响 切换业务后,写入备集群的数据默
CDL作业数据DDL变更说明 DDL变更操作包括创建数据库/表、变更表字段类型、变更表字段名称、表列增/删等数据表结构变化操作。当前CDL仅支持从PgSQL同步数据到Hudi的DDL变更,所有DDL变更操作顺序为: 停止CDL任务。 Hudi侧执行DDL变更。 源端库进行DDL变更。 本章节适用于MRS
经同步,可以不配置此项。当使用Flume客户端时,必须配置此项。 192.168.101.10:21007 batchSize Flume一次发送的事件个数(数据条数)。 61200 dataDirs 缓冲区数据保存目录,默认为运行目录。配置多个盘上的目录可以提升传输效率,多个目
转换MRS按需集群为包周期集群 如果用户想要将按需计费的集群转为更经济的包年/包月的包周期集群,可使用该指导进行操作。 集群状态为“运行中”或“停止中”时,可以进行转包周期操作。 转换MRS按需集群为包周期集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要转包
恢复任务失败后数据状态未知 告警解释 执行恢复任务失败后,系统按60分钟周期自动回滚,如果回滚失败,可能会导致数据丢失等问题,如果该情况出现,则上报告警,如果下一次该任务恢复成功,则恢复告警。 告警属性 告警ID 告警级别 是否自动清除 12035 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1
LAINTEXT。Kerberos未开启的模式下配置为PLAINTEXT。 kerberos.domain.name 域名 MRS服务集群的Kerberos域名,未开启Kerberos认证的集群无需配置。 sasl.kerberos.service.name 服务名 Kafka集
用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持切换操作系统。 父主题: 节点管理类
和LDAP的管理机制,通过CAS实现单点登录(包括单点登录和单点登出)。用户只需要登录一次,即可在Manager WebUI和组件Web UI之间,甚至第三方系统之间进行任务跳转操作,无需切换用户重新登录。 出于安全考虑,CAS Server只能保留用户使用的TGT(ticket-granting
实例”,获取ClickHouseServer实例对应的业务IP地址。 系统域名:默认为hadoop.com。可登录集群FusionInsight Manager,单击“系统 > 权限 > 域和互信”,“本端域”参数值即为系统域名。在执行命令时改为小写。 以root用户登录ClickHouseServer实例所在的节点。