检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Spark的数据读取效率。 前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS,具体请参考配置S
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
HIVE使用OBS存储。 需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs.obs.secret.key=SK; set metaconf:fs.obs.access
Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint;
Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint;
执行程序路径配置为OBS上存放程序的地址。例如:obs://wordcount01/program/hadoop-mapreduce-examples-x.x.x.jar。 执行程序参数中填写的参数为:wordcount obs://wordcount01/input/ obs://wordcount01/output/。
解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题
x及之后版本) 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 恢复管理 > 创建”。 设置“任务名称”。 设置“恢复对象”为“OMS”或需要恢复数据的集群。 在“恢复配置”指定需要恢复的数据。 支持恢复元数据和业务数据。 各组件不同数据的恢复任务操作请参考备份恢复MRS集群数据。
Impala使用OBS存储。 需要在集群管理页面MRS Manager里面设置指定的参数到core-site.xml,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint;
obs://obs-mrstest/data Mounted obs://obs-mrstest/data at /mnt/obs 通过Alluxio命名空间列出OBS文件系统中的文件。使用ls命令列出OBS挂载目录下的文件。 alluxio fs ls /mnt/obs 38
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本
配置Windows通过EIP访问普通模式集群HBase 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HBase文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并
配置Windows通过EIP访问普通模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Hive文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并
park等作业的本地临时文件(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。对于占用存储资源(本地磁盘或者关键HDFS目录)过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。
如需添加多个参数,请单击右侧增加。 例如作业需要通过AK/SK方式访问OBS,增加以下服务配置参数: fs.obs.access.key:访问OBS的密钥ID。 fs.obs.secret.key:访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。
配置Windows通过EIP访问安全模式集群HBase 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HBase文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本
配置Windows通过EIP访问普通模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Hive文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本