检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“EL操作转换”算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入：需要转换的字段 输出：经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 el操作之后生成的字段
“EL操作转换”算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入：需要转换的字段 输出：经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 el操作之后生成的字段
双击对应的Source、Channel以及Sink，根据实际环境并参考表1设置对应的配置参数。 如果对应的Flume角色之前已经配置过客户端参数，为保证与之前的配置保持一致，可以到“客户端安装目录/fusioninsight-flume-1.9.0/conf/properties.proper
“周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 表1 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 选择数据周期备份策略。 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份
安全模式（启用Kerberos认证） 安全模式的MRS集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。
MRS集群Manager：Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 MRS管理控制台与MRS集群Manager页面的区别和联系请参考表1。 表1 MRS管理控制台与Manager区别说明 常用操作 MRS管理控制台 MRS集群Manager 切换子网、添加安全组规
HDFS目录或文件的读、写和执行权限。 用户在HDFS中对自己创建的目录或文件拥有完整权限，可直接读取、写入以及授权他人访问此HDFS目录与文件。 本章节适用于MRS 3.x及后续版本。 安全模式支持创建HDFS角色，普通模式不支持创建HDFS角色。 如果当前组件使用了Range
文件，文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，然后执行4。 使用WinSCP工具，以客户端安
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
/opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Scala和Java样例程序 bin/spark-submit --class com.huawei
/opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Scala和Java样例程序 bin/spark-submit --class com.huawei
创建ECS委托 为MRS集群配置委托 创建OBS文件系统 Hive访问OBS文件系统 创建ECS委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“ECS
任务调度，执行端负责任务执行。 读取文件的过程如图 读取文件过程所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，
控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，
使用Presto客户端执行查询语句 用户可以根据业务需要，在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群，需要提交拓扑的用户属于“presto”组。 MRS 3.x版本Presto组件暂不支持开启Kerberos认证。 前提条件 获取用户“admin”账号密
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在
登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 IoTDB权限： 普通用户权限：具有数据操作权限，可选择性的对IoTDB根目录、存储组及存储组
Keeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4，ZKFC的sessionId为0x144cb2b3e4b36ae4。这意味着ZooKeeper服务端与客户端（ZKFC）之间数据交互失败。
例如作业需要通过AK/SK方式访问OBS，增加以下服务配置参数： fs.obs.access.key：访问OBS的密钥ID。 fs.obs.secret.key：访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 - 表2 运行程序参数 参数 参数说明 取值样例 -ytm 设
Keeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4，ZKFC的sessionId为0x144cb2b3e4b36ae4。这意味着ZooKeeper服务端与客户端（ZKFC）之间数据交互失败。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
