检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境： Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK
k样例工程的配置文件目录中（通常为“resources”文件夹）。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下，主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 carbon.properties CarbonData配置文件。 core-site
校验。 勾选欲分配的表，单击“下一步”。 一次分配操作仅允许勾选来自同一RSGroup的一个或多个表。若想要分配来自不同RSGroup的RegionServer实例，请分多次修改来进行分配。 当修改RSGroup操作中同时勾选了分配RegionServer和表时，RegionServer和表需来自同一RSGroup。
验。 勾选欲分配的表，单击“下一步”。 一次分配操作仅允许勾选来自同一RSGroup的一个或多个表。如果想要分配来自不同RSGroup的RegionServer实例，请分多次修改来进行分配。 当修改RSGroup操作中同时勾选了分配RegionServer和表时，RegionServer和表需来自同一RSGroup。
作业。 查看作业执行结果。 进入“作业管理”页面，查看作业是否执行完成。 作业运行需要时间，作业运行结束后，刷新作业列表，查看作业列表如图5所示。 图5 作业列表 作业执行成功或失败后都不能再次执行，只能新增或者复制作业，配置作业参数后重新提交作业。 登录OBS控制台，进入OBS路径，查看作业输出信息。
-tools-1.99.3/loader-tool/job-config/sftp-to-hdfs.xml <root> <!-- 连接数据库的信息 --> <sqoop.connection name="vt_sftp_test" type="sftp-connector"> <connection
运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applica
完成，配置合适的超时时间参数能尽可能地保证业务不中断。 批次容错阈值 0 滚动重启实例批次执行失败容错次数，默认为0，即表示任意一个批次的实例重启失败后，滚动重启任务终止。 组件重启参考信息 当前MRS集群中，服务和实例是否支持滚动重启如表2所示。 表2 服务和实例是否支持滚动重启
<password>，具体操作可参考认证和加密，表3中的配置项会被默认赋值，用户也可以手动配置。 表3 参数描述 参数 参数值示例 描述 security.ssl.keystore ${path}/flink.keystore keystore的存放路径，“flink.keystore”表示用户通过generate_keystore
了40个构建被拷贝文件的列表的线程数； -update -delete表示将源位置和目标位置的文件同步，删除掉目标位置多余的文件，注意如果需要增量拷贝文件，请将-delete删掉； -prbugpaxtq与-update配合，表示被拷贝文件的状态信息也会被更新； hdfs://c
Java样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
application.properties”中配置，也可以在样例运行环境上手动编写application.properties文件。没有指定默认值的配置为必选项。 bootstrap.servers：Kafka集群Broker地址列表，格式为ip:port,ip:port,ip:port。
DF拥有该权限后可以修改服务的Policy。 表6 反射权限 权限类型 权限名 java.lang.reflect.ReflectPermission suppressAccessChecks：允许利用反射检查任意类的私有变量。 表7 完全权限 权限类型 权限名 java.security
<domain>，其中<brokers>指获取元数据的Kafka地址，<subscribe-type>指Kafka订阅类型（一般为subscribe，代表订阅指定的topic），<topic>指读取Kafka上的topic名称，<protocol>指安全访问协议，<service>指kerbe
参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数 描述 默认值 yarn.resourcemanager.recovery.enabled
租户角色。 （可选）若本端集群开启了Ranger鉴权，则需要给mvuser用户添加刷新物化视图和set session的权限，可分别参考表1和表2。 使用HetuEngine管理员用户登录FusionInsight Manager页面。 选择“集群 > 服务 > HetuEngine
WebUI界面。 在Ranger首页的“Service Manager”区域内，单击组件名称下的权限插件名称，即可进入组件安全访问策略列表页面。 各组件的策略列表中，系统默认会生成部分条目，用于保证集群内的部分默认用户或用户组的权限（例如supergroup用户组），请勿删除，否则系统默认用户或用户组的权限会受影响。
表示主机当前状态正常。 故障 表示主机当前无法正常工作。 未知 表示主机的初始状态信息无法检测。 已隔离 表示主机处于隔离的状态。 已停机 表示主机处于停机的状态。 在主机列表单击指定的主机名称，查看主机概览信息。 在主机详情页面，主要包含基本信息区、磁盘状态区、实例列表区和监控图表等。 表4 主机详情
例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。 根据提交任务类型，进入对应样例目录。 表1 样例目录列表 任务类型 样例目录 Mapreduce任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/map-reduce
根据业务需要修改以下参数，并单击“确定”保存： “重复”：勾选时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。 “重复策略”：支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。 “在”：表示资源配置组应用的开始与结束时间。请设置一个唯一的时间区
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
