检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算子帮助 概述 输入算子 转换算子 输出算子 关联、编辑、导入、导出算子的字段配置信息 配置项中使用宏定义 算子数据处理规则 父主题： 使用Loader
数据处理单元，会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类： 一对一的转换：如Map。 一对0、1或多个的转换：如FlatMap。 一对0或1的转换，如Filter。 多对1转换，如Union。 多个聚合的转换，如window、keyby。 CheckPoint
数据处理单元，会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类： 一对一的转换：如Map。 一对0、1或多个的转换：如FlatMap。 一对0或1的转换，如Filter。 多对1转换，如Union。 多个聚合的转换，如window、keyby。 CheckPoint
ap数”同时配置。当使用关系型数据库连接器时，不支持“Map数据块大小”，请配置“Map数”。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型
单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 编辑已有作业或者新建作业，进入“转换”界面。 双击指定的输入算子（例如CSV文件输入）进入编辑页面，在输入字段的参数表格添加相应配置信息。 双击指定的输出算子（例如文件输出）
单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 编辑已有作业或者新建作业，进入“转换”界面。 双击指定的输入算子（例如CSV文件输入）进入编辑页面，在输入字段的参数表格添加相应配置信息。 双击指定的输出算子（例如文件输出）
Loader算子帮助 Loader算子说明 Loader输入类算子 Loader转换类算子 Loader输出类算子 管理Loader算子的字段配置信息 Loader算子配置项中使用宏定义 Loader算子数据处理规则 父主题： 使用Loader
切换MRS集群组件Ranger鉴权 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，集群管理员可在服务页面手动停用Ranger鉴权，停
部数据源（如消息队列、数据库、文件系统、TCP连接等）读取数据，然后转换为Topology内部的数据结构Tuple，由下一级组件处理。 Bolt Topology中接受数据并执行具体处理逻辑（如过滤，统计、转换、合并、结果持久化等）的组件。 Worker 是Topology运行态
查看MRS集群运行状态 启动停止MRS集群 重启MRS集群 导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改OMS服务配置 修改MRS集群Manager路由表 父主题：
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色，且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端，具体操作请参考Hive客户端使用实践。
将日期字面量转换成日期类型的变量 select date('2020-07-25');-- 2020-07-25 from_iso8601_timestamp(string) → timestamp with time zone 将ISO 8601格式的时戳字面量转换成带时区的时戳变量
ap数”同时配置。当使用关系型数据库连接器时，不支持“Map数据块大小”，请配置“Map数”。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型
小，单位为MB。参数值必须大于或等于100，建议配置值为1000。不可与“Map数”同时配置。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入
HetuEngine SQL函数和操作符说明 HetuEngine辅助命令语法 HetuEngine预留关键字 HetuEngine数据类型隐式转换 HetuEngine样例表数据准备 HetuEngine常用数据源语法兼容性说明 父主题： 使用HetuEngine
ap数”同时配置。当使用关系型数据库连接器时，不支持“Map数据块大小”，请配置“Map数”。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色，且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端，具体操作请参考Hive客户端使用实践。
小，单位为MB。参数值必须大于或等于100，建议配置值为1000。不可与“Map数”同时配置。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型
eFormation”数据连接。 不同集群间Hive元数据切换时，MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的，所以不同集群间的Hive元数据切换，不能自动把用户/用户组的权限同步到另一个集群的Manager上。
用于MRS 3.x及之后版本）确认集群的主备管理节点（即主备OMS节点）。 在主备模式下，由于Master1和Master2之间会进行主备切换，Master1节点不一定是主管理节点。 通过执行脚本确定主备管理节点 获取MRS集群的Master节点信息。 登录MRS管理控制台，选择
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
