检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mp /user/loader/etl_hbase_tmp /user/oozie 固定目录 存放oozie运行时需要的依赖库,需用户手动上传 否 oozie调度失败 /user/mapred/hadoop-mapreduce-xxx.tar.gz 固定文件 MR分布式缓存功能使用的各jar包
集群日志转储至OBS的具体路径。 开启日志转储功能后,日志上传需要对应OBS路径的读写权限,请配置MRS_ECS_DEFULT_AGENCY默认委托或具有对应OBS路径读写权限的自定义委托。具体请参见配置存算分离集群(委托方式)。该参数只适用于支持“集群日志转储OBS”特性的集群版本。
1/{project_id}/jobs/submit-job 查询作业exe对象列表 GET /v1.1/{project_id}/job-exes 查询作业exe对象详情 GET /v1.1/{project_id}/job-exes/{job_exe_id} 删除作业执行对象 DELETE /v1
“单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “OBS”:表示将备份文件保存在OBS中(仅MRS 3.5.0及之后版本支持)。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/xxx/备份任务名_数据源_任
如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 备份HDFS NameNode元数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。
文件的基本操作流程,可分为以下八部分: 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
“目标NameService名称”:选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
客户端管理”,进入客户端管理界面,单击“导出全部”,将所选的客户端信息导出到本地。 解压导出的客户端信息,将client-info.cfg文件上传到客户端解压目录的batch_upgrade目录下。 参考以下操作,补全“client-info.cfg”中缺失的密码。 执行vi client-info
"A城市"); 使用load data命令导入文件数据。 根据表1数据创建文件。如,文件名为txt.log,以空格拆分字段,以换行符作为行分隔符。 上传文件至hdfs。 hdfs dfs -put txt.log /tmp 加载数据到表中。 load data inpath '/tmp/txt
程,可分为以下八部分: 通过安全认证。 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
文件的基本操作流程,可分为以下八部分: 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式: 从HDFS/OBS中导出数据到SFTP服务器 从HDFS/OBS中导出数据到关系型数据库 从HBase中导出数据到SFTP服务器 从HBase中导出数据到关系型数据库 从Phoenix表导出数据到SFTP服务器
RegionServer是HBase集群运行在每个工作节点上的服务。一方面维护Region的状态,提供对于Region的管理和服务;另一方面,上传Region的负载信息,参与Master的分布式协调管理。 时间戳 用于索引同一份数据的不同版本,时间戳的类型是64位整型。时间戳可以由H
"A城市"); 使用load data命令导入文件数据。 根据表1数据创建文件。如,文件名为txt.log,以空格拆分字段,以换行符作为行分隔符。 上传文件至hdfs。 hdfs dfs -put txt.log /tmp 加载数据到表中。 load data inpath '/tmp/txt
程,可分为以下八部分: 通过安全认证。 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight
build()方法创建KuduClient对象。传入的参数KUDU_MASTERS为kudu集群的masters地址列表,如果有多个master节点,则中间用半角逗号隔开。 代码样例 如下是建立连接代码片段: // 创建Kudu连接对象 KuduClient client = new
执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等,因此,当存在以下问题时,从checkpoint恢复spark应用将会失败。 业务代码变更且变
执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等,因此,当存在以下问题时,从checkpoint恢复spark应用将会失败。 业务代码变更且变