检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加MRS租户资源池 在MRS集群中，用户从逻辑上对YARN集群的节点进行分区，使多个NodeManager形成一个YARN资源池。每个NodeManager只能属于一个资源池。系统中默认包含了一个名为“default”的资源池，所有未加入用户自定义资源池的NodeManager属于此资源池。 该任
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。
单击，按照界面提示填写参数。 图1 创建实例组 表1 实例组配置参数 参数名 说明 组名称 实例组名称只能包含字母、数字、下划线（_）、中划线（-）和空格，仅以字母、数字、下划线（_）或中划线（-）开头，只能在中间包含空格，并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源
时间和结束时间，可以搜索此时间段内产生的告警。 在审计日志列表中，单击“导出全部”，导出所有的日志。 在审计日志列表中，勾选日志信息前的复选框，单击“导出”，导出指定日志。 父主题： 查看MRS集群日志
是否有新增，有则添加分区。 因此使用hive sync时有以下约束： 写入数据Schema只允许增加字段，不允许修改、删除字段。 分区目录只能新增，不会删除。 Overwrite覆写Hudi表不支持同步覆盖Hive表。 Hudi同步Hive表时，不支持使用timestamp类型作为分区列。
TER TABLE ADD PARTITION语句增加分区，以及使用LOAD DATA INTO PARTITON语句将数据加载到分区时，只能加载到静态分区。 动态分区：通过查询命令，将结果插入到某个表的分区时，可以使用动态分区。 动态分区通过在客户端工具执行如下命令开启： set
困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨源查询时，只能对简单的filter进行下推，因此造成大量不必要的数据传输，影响SQL引擎性能。针对下推能力进行增强，当前对aggregate、复杂pro
配置资源池的队列容量策略 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。
分资源管理。安全区中定义的策略仅适用于区域中的资源，服务的资源被划分到安全区后，非安全区针对该资源的访问权限策略将不再生效。安全区的管理员只能在其作为管理员的安全区中设置策略。 添加安全区 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger
时间格式：表达式输出结果格式。 长度：表达式输出结果长度。 map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件见下图： 配置“EL操作转换”算子，生成C、D、E和F四个字段：
时间格式：表达式输出结果格式。 长度：表达式输出结果长度。 map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件见下图： 配置“EL操作转换”算子，生成C、D、E和F四个字段：
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 系统本地最多只能保存50个转储文件，如果该故障持续存在于转储服务器，会导致本地历史审计日志丢失，查询超过当前时间点的前50条审计日志时无法查询。 可能原因
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 系统本地最多只能保存50个转储文件，如果该故障持续存在于转储服务器，本地审计日志可能丢失。 可能原因 网络连接异常。 转储服务器的用户名、密码或转储目录等不满足配置条件。
管理MRS集群备份恢复任务 系统管理员可以通过Manager修改已创建的备份任务的配置参数，以适应业务需求的变化。不支持修改任何恢复任务配置参数，只能查看恢复任务的配置参数。 对系统的影响 修改备份任务后，新的参数在下一次执行任务时生效。 前提条件 已创建备份任务。 已根据业务实际需求，规划新的备份任务策略。
分资源管理。安全区中定义的策略仅适用于区域中的资源，服务的资源被划分到安全区后，非安全区针对该资源的访问权限策略将不再生效。安全区的管理员只能在其作为管理员的安全区中设置策略。 添加安全区 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger
困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨源查询时，只能对简单的filter进行下推，因此造成大量不必要的数据传输，影响SQL引擎性能。针对下推能力进行增强，当前对aggregate、复杂pro
准备Spark应用运行环境 操作场景 Spark的运行环境（即客户端）只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。 准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
用户可以通过引导操作来完成安装其他第三方软件，修改集群运行环境等自定义操作。 引导操作可以在集群组件首次启动前/后在指定的节点上执行脚本。已运行的集群组件添加的引导操作，只能通过手动方式在节点上执行第三方组件的安装脚本进行安装。 如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。如果集群
机架划分示例如下： 图1 机架划分 设置集群节点机架信息 登录FusionInsight Manager。 单击“主机”。 勾选待操作主机前的复选框。 在“更多”选择“设置机架”。 机架名称需遵循实际网络拓扑结构，以层级形式表示；各层级间以斜线“/”隔开。 机架命名规则为：“/leve
示为“0”表示集群的运行任务数为0。 单击“主机 ”，若集群类型为分析集群，则勾选9记录的“NameNode”的业务IP所对应的主机前的复选框。若集群类型为流式集群，则不区分主备节点，分别选择主机升级即可。 选择“更多> 停止所有实例”，并等待所有实例停止完成。 当升级Manag
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
