检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager管理开发指南 Manager应用开发简介 Manager应用开发流程 准备Manager应用开发环境 开发Manager应用 调测Manager应用 Manager应用开发常见问题
Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列? 怎么通过客户端设置Map/Reduce内存? 如何在导入Hive表时指定输出的文件压缩格式? Hive表desc描述过长导致无法完整显示 Hi
All:全选/取消全选 如需添加多条权限控制规则,可单击按钮添加。 如需当前条件中的用户或用户组管理本条策略,可勾选“Delegate Admin”,这些用户将成为受委托的管理员。被委托的管理员可以更新、删除本策略,它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件,配置本
和使用MRS 华为云大数据技术解密 华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于AI和大数据技术,通过云服务的方式提供开放可信的平台。 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。
eneric-jdbc-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别? 答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。
eneric-jdbc-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别? 答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。
为什么IAM子账号添加了MRS权限却无法在控制台提交作业? 问: IAM子账号添加了MRS ReadOnlyAccess、MRS FullAccess权限,无法在控制台提交作业,怎么办? 答: 用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess权限,由于权限优先级的问题导致了当前在控制台界面无法添加作业。
MaxMetaspaceSize”并将值设置成为“-Xmx”大小的1/8。单击“保存”,单击“确定”。 JDK1.8不再支持MaxPermSize。 Oozie的GC参数配置建议: 建议将“-XX:MaxMetaspaceSize”值设置成为“-Xmx”大小的1/8,比如:“-Xmx
使用ExternalShuffle的时候,Spark将借用NodeManager传输Shuffle数据,因此NodeManager的内存将成为瓶颈。 在当前版本的FusionInsight中,NodeManager的默认内存只有1G,在数据量比较大(1T以上)的Spark任务下,
使用admin用户访问组件的WebUI界面报错或部分功能不可用 问: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备对应组件的管理权限,导致界面报错或部分功能不可用。
转换步骤配置不正确时,传输的数据将无法转换并成为脏数据,脏数据标记规则如下: 任意输入类型步骤中,原数据包含字段的个数小于配置字段的个数,或者原数据字段值与配置字段的类型不匹配时,全部数据成为脏数据。 “CSV文件输入”步骤中,“验证输入字段”检验输入字段与值的类型匹配情况,检查不匹配时跳过该行,当前行成为脏数据。
访问MRS集群Manager(2.x及之前版本) 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
使用ExternalShuffle的时候,Spark将借用NodeManager传输Shuffle数据,因此NodeManager的内存将成为瓶颈。 在当前版本的FusionInsight中,NodeManager的默认内存只有1G,在数据量比较大(1T以上)的Spark任务下,
分页面不可用如何处理? 问: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备对应组件的管理权限,导致界面报错或部分功能不可用。
转换步骤配置不正确时,传输的数据将无法转换并成为脏数据,脏数据标记规则如下: 任意输入类型步骤中,原数据包含字段的个数小于配置字段的个数,或者原数据字段值与配置字段的类型不匹配时,全部数据成为脏数据。 “CSV文件输入”步骤中,“验证输入字段”检验输入字段与值的类型匹配情况,检查不匹配时跳过该行,当前行成为脏数据。
如何获取Spark Jar包? 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
于或者等于partition个数。 当Kafka上不同partition数据有倾斜时,数据较多的partition对应的executor将成为数据处理的瓶颈,所以在执行Producer程序时,数据平均发送到每个partition可以提升处理的速度。 在partition数据均匀分
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
UI中也会清除掉“Dead Region Servers”信息。 以防掌控有一些region的主用HMaster突然停止响应,备用的HMaster将会成为新的主用HMaster,同时显示先前主用HMaster变成dead RegionServer。当HMaster主备倒换操作成功执行,在HMaster
使用代理用户提交Spark作业 本章节仅适用MRS 3.3.0及之后版本。 场景说明 提交Spark任务时,用户可以使用当前实际运行用户提交任务,也可以使用代理用户提交任务。本章节介绍如何开启代理用户提交任务。 前提条件 创建用户,登录Manager页面,选择“系统 > 权限 >