检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM集群的规格，按待迁移的数据量选择，一般选择“cdm.medium”即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与MRS集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MRS HDFS。 图2 集群列表
时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en
MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Flink相关样例工程，安全模
MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Flink相关样例工程，安全模
如果使用Linux环境调测程序，需准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端，例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端，MRS集群外客户
错误的注册信息，并打印相应日志。 如果用户注册重复的Hive UDF，系统将只注册一次，并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同，系统将会发生异常并无法正常启动。解决该异常需要用户删除对应的Hive UDF注册信息。 部署Hive UDF 要在HetuEngine中使用Hive
在等值Join条件之中包含两张表的分桶列，当左表的分桶列为等值的Join条件时，很大概率会被规划为Bucket Shuffle Join。 左表的分桶列的类型与右表等值Join列的类型需要保持一致。 Bucket Shuffle Join功能只生效于等值Join的场景。 Bucket Shuffle
时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 每次都全量备份 选择数据周期备份策略。 首次全量备份，后续增量备份 每次都全量备份
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写，影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写，影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
MRS标签更新会同步到集群中的云服务器（ECS）或云硬盘（EVS）标签上，但是在ECS或EVS控制台上修改MRS集群的标签不会同步到集群上，为了使所有ECS/ECS标签与MRS标签保持一致，不建议在云服务器（ECS）或云硬盘（EVS）控制台上修改MRS集群标签。 系统支持添加多个标签，最多可添加20个标签，当
是，执行9。 否，执行13。 检查网络是否故障，无法访问ldap服务器。 用root用户登录故障节点，在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是，执行6。 否，请联系网络管理员，解决网络故障。 检查Name Service服务是否异常。 用
全局属性 全局属性配置请参见表4。 表4 全局属性 配置项 必选/可选 配置说明 cpuQuotaPeriod 可选 CPU配额生效的时间段，与资源组属性的softCpuLimit以及hardCpuLimit结合使用。 选择器属性的配置 数据源名称（source）可设置如下： CLI：使用--source选项。
操作流程 步骤1：创建MRS集群并配置 步骤2：在CDM创建Hive和Doris连接 步骤3：Hive外表数据通过CDM迁移到Doris 约束与限制 DataArts Studio实例、CDM集群、MRS集群需要具有相同的“虚拟私有云”和“安全组”。 步骤1：创建MRS集群并配置 已创建DataArts
blockmanagement.AvailableSpaceBlockPlacementPolicy host2tags 配置DataNode主机与标签的对应关系。 主机名称支持配置IP扩展表达式（如192.168.1.[1-128]或者192.168.[2-3].[1-128]，且IP必须为业务IP），或者为前后加上
checkpoint=s1,0:0,1:0 // 任务启动时，该source的恢复点(从0分区的0 offset，1分区的0 offset开始恢复) // 指定与source1表进行join的hudi表，如果该hudi表已经同步到hive，则不需要该配置，直接在sql中通过表名来使用 hoodie.deltastreamer
/var/log/Bigdata/omm oms：“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。 oma：“omm”代理端的安装运行日志。 core：“omm”代理端与“HA”进程失去响应的dump日志。 /var/log/Bigdata/spark2x Spark2x日志。
用户”，在用户名为developuser的操作列选择“更多 > 下载认证凭据”下载认证凭据文件，保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群
IDEA工程中com.huawei.storm.example.kafka.NewKafkaTopology.java。 本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和Kafka组件已经安装，并正常运行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
