检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HIVE使用OBS存储。 需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs.obs.secret.key=SK; set metaconf:fs.obs.access
Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint;
Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint;
3版本的补丁安装完成后,如需对接CES,请联系运维处理。 补丁下载地址 华北-北京一:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_315_Patch_Diskmgt_v2
到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升HetuEngine的数据读取效率。 前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成HetuEngine对接OBS,具体请
的恢复点。 在“队列名称”填写任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 在“数据配置”选择需要恢复的对象。 单击“校验”,界面显示“校验恢复任务配置成功”。 单击“确定”。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。
群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Spark的数据读取效率。 前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS,具体请参考配置S
park等作业的本地临时文件(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。对于占用存储资源(本地磁盘或者关键HDFS目录)过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。
执行程序路径配置为OBS上存放程序的地址。例如:obs://wordcount01/program/hadoop-mapreduce-examples-x.x.x.jar。 执行程序参数中填写的参数为:wordcount obs://wordcount01/input/ obs://wordcount01/output/。
件的基本操作流程: 通过集群安全认证。 创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem
Impala使用OBS存储。 需要在集群管理页面MRS Manager里面设置指定的参数到core-site.xml,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint;
提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian服务不可用时,业务无法正常访问OBS。 可能原因 Guardian服务所依赖内部服务HDFS故障。 TokenServer角色实例异常。 处理步骤 检查HDFS服务状态。 在FusionInsight
如需添加多个参数,请单击右侧增加。 例如增加以下服务配置参数: fs.obs.access.key:通过AK/SK方式访问OBS时访问OBS的密钥ID。 fs.obs.secret.key:通过AK/SK方式访问OBS时访问OBS与密钥ID对应的密钥。 hive.execution.eng
单击弹性公网IP后边的“添加安全组规则”,如图3所示。 图3 集群详情 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围,禁止使用0.0.0.0/0,否则会有安全风险。”如图4所示。 图4 添加安全组规则 默认填充的是用户访问公网的
15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0
查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdo
查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdo
群名称。 将OBS中的txt文件导入至HDFS中。 选择“文件管理”。 在“HDFS文件列表”页签中单击“新建”,创建一个名称为userinput的文件夹。 进入userinput文件夹,单击“导入数据”。 选择OBS和HDFS路径,单击“确定”。 OBS路径:obs://spa
"2016/11/08 15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0, "status" :