检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ARN队列的名称,需和集群中已存在且状态正常的队列名称相同。 “OBS”:表示将备份文件保存在OBS中(仅MRS 3.5.0及之后版本支持)。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
准备Spark连接集群配置文件 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择
如IPv4或者IPv6。 “目的端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “目的端备NameNode IP地址”:填写备集群备NameNode业务平面IP地址。 “目的端NameNode RPC端口”:填写目的端集群HDFS基础配置“dfs
文件的基本操作流程,可分为以下八部分: 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
配置Hive表不同分区分别存储至OBS和HDFS 操作场景 存算分离场景下,Hive分区表支持不同的分区分别指定不同的存储源,可以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力,关于Hive如
准备连接Kafka集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,用于验证应用程序运行。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端
程,可分为以下八部分: 通过安全认证。 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 备份CDL业务数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。
文件的基本操作流程,可分为以下八部分: 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等,因此,当存在以下问题时,从checkpoint恢复spark应用将会失败。 业务代码变更且变
功能简介 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象,然后再通过设置谓词条件从Kudu表里过滤读取数据。 代码样例 如下是读取数据的代码片段: KuduTable table = client
SessionExample”。 其中修改HOST_1、HOST_2、HOST_3为IoTDBServer所在节点的业务IP,在Session对象的参数里,设置用户名和密码。 待连接的IoTDBServer所在节点的业务IP地址,可通过登录FusionInsight Manager界面,选择“集群
build()方法创建KuduClient对象。传入的参数KUDU_MASTERS为kudu集群的masters地址列表,如果有多个master节点,则中间用半角逗号隔开。 代码样例 如下是建立连接代码片段: // 创建Kudu连接对象 KuduClient client = new
执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等,因此,当存在以下问题时,从checkpoint恢复spark应用将会失败。 业务代码变更且变
准备本地应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
1/{project_id}/jobs/submit-job mrs:job:submit √ √ 新增并执行作业(V2) POST /v2/{project_id}/clusters/{cluster_id}/job-executions √ √ 查询作业exe对象列表(V1) GET /v1
Flume配置传输加密:请参见配置Flume加密传输。 Flink配置传输加密:请参见认证和加密章节的加密传输操作指导。 数据容灾与备份 容灾:MRS支持将数据备份到对象存储服务(OBS)中,支持跨区域的高可靠性。 备份:MRS支持针对OMS、Kafka、DBService、NameNode等组件的元数据备份和对H
程,可分为以下八部分: 通过安全认证。 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
建备份任务。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。 备份Hive业务数据 在FusionInsight Manager,选择“运维 >
备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间