检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile
icationID,服务器会响应给浏览器“404”的状态码。但是由于chrome浏览器访问该REST接口时,优先以“application/xml”的格式响应,该行为会导致服务器端处理出现异常,所以返回的页面会提示“Error Occurred”。而IE浏览器访问该REST接口时
kflow批量执行。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击作业,进入“作业浏览器”。 默认显示当前集群的所有作业。支持查看Workflow、Coordinator和Bundles作业的运行情况。 作业浏览器显示的数字表示集群中所有作业的总数。
本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在,则会自动先创建该分组。当前用户就是该分组的创建者,拥有该分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
道,配置参数如表1所示。 表1 obs-connector配置 参数 说明 名称 指定一个Loader连接的名称。 OBS服务器 输入OBS endpoint地址,一般格式为OBS.Region.DomainName。 例如执行如下命令查看OBS endpoint地址: cat
群名称。 将OBS中的txt文件导入至HDFS中。 选择“文件管理”。 在“HDFS文件列表”页签中单击“新建”,创建一个名称为userinput的文件夹。 进入userinput文件夹,单击“导入数据”。 选择OBS和HDFS路径,单击“确定”。 OBS路径:obs://spa
T接口调用HDFS,通过浏览器返回结果呈现给用户。 Hive Hive提供THRIFT接口与Hue交互,用于执行Hive SQL、查询表元数据。 在Hue界面编辑HQL语句,通THRIFT接口提交HQL语句到HiveServer执行,同时把执行通过浏览器呈现给用户。 Yarn/MapReduce
IAM用户同步 OBS权限映射 用户通过该功能配置访问OBS权限,实现MRS用户对OBS桶下的目录权限控制。 例如,您只允许用户组A访问某一OBS桶中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。
MRS租户管理中的动态资源计划页面无法刷新怎么办? 问: MRS租户管理中的动态资源计划页面无法刷新怎么办? 答: 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
主机名 产生告警的主机名。 对系统的影响 当Guardian调用ECS metadata失败时,可能会导致获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 ECS底层接口异常,导致请求失败。 处理步骤 收集故障信息。 在FusionInsight Manager界面,选择“运维
WebUI使用HiveQL编辑器 在Hue WebUI使用SparkSql编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 在Hue WebUI使用HBase 父主题: 使用Hue(MRS 3.x及之后版本)
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian调用IAM 接口失败时,可能会导致获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 IAM 服务异常。 处理步骤 收集故障信息。 在FusionInsight Manager界面,选择“运维
配置审计日志转储至OBS(MRS 3.x之前版本) MRS的审计日志长期保留在系统中,可能引起数据目录的磁盘空间不足问题,故通过设置导出参数及时将审计日志自动导出到OBS服务器的指定目录下,便于管理审计日志信息。 审计日志导出到OBS服务器的内容包含两部分,服务审计日志和管理审计日志。
支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式: 从HDFS/OBS中导出数据到SFTP服务器 从HDFS/OBS中导出数据到关系型数据库 从HBase中导出数据到SFTP服务器 从HBase中导出数据到关系型数据库 从Phoenix表导出数据到SFTP服务器
默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCrede
ionID,服务器会响应给浏览器“404”的状态码。但是由于chrome浏览器访问该REST接口时,优先以“application/xml”的格式响应,该行为会导致服务器端处理出现异常,所以返回的页面会提示“Error Occurred”。而IE浏览器访问该REST接口时,优先以
Hue常见问题 使用IE浏览器在Hue中执行HQL失败 Hue WebUI中Oozie编辑器的时区设置问题 父主题: 使用Hue
集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hive的数据读取效率。 前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成Hive对接OBS,具体请参考配置Hive通过Guardian访问OBS。
根据用户自身需求,构建完整的Maven工程并进行编译开发。 样例工程获取地址 MRS服务1.8之前版本的样例工程下载地址为:http://mapreduceservice.obs-website.cn-north-1.myhuaweicloud.com/。 MRS服务1.8.x版本的样例工程下载地址为:https://github
Loader常见问题 IE 10&IE 11浏览器无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 父主题: 使用Loader