检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ster出现物理内存溢出异常 MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking URL打开 多个NameService环境下运行MapReduce任务失败 基于分区的任务黑名单异常如何处理 父主题: 使用Mapreduce
和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts Studio,用户可以先在线开发调试MRS HQL/SparkSQL
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题: 数据迁移
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段: // 打开Kudu表 KuduTable table = client.openTable(tableName); 示
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 当初始Executor为0时,为什么INSERT INTO/LOAD DATA任务分配不正确,打开的task少于可用的Executor? 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 为什么在off
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,管理员可在线按照节点范围或者组件角色范围快速检视所有日志,通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
Manager关键特性:多语言支持 Manager增加了对多语言的支持,系统自动根据浏览器的语言偏好设置,显示中文或者英文。当浏览器首选语言是中文时,Manager显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS
单NameNode长期故障时如何使用客户端手动checkpoint HDFS文件读写时报错“Failed to place enough replicas” 文件最大打开句柄数设置太小导致读写文件异常 HDFS客户端写文件close失败 文件错误导致上传文件到HDFS失败 界面配置dfs.blocksize后上传数据,block大小未改变
在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,当前不会产生实际费用。如果客户配置了实例数量,则产品报价会在浏览器下方即时显示。当满足弹性伸缩条件时,扩缩容节点后会影响实际费用。 如果在集群使用时,配置的弹性伸缩功能新增了节点,则包年/包月集群和按需计
集群的计算、存储、表格等资源按租户划分。 MRS支持Kerberos安全认证,实现了基于角色的安全控制及完善的审计功能。 MRS支持对接华为云云审计服务(CTS),为用户提供MRS资源操作请求及请求结果的操作记录,供用户查询、审计和回溯使用。支持所有集群操作审计,所有用户行为可溯源。
tar压缩包并打开压缩包文件,单击“上传文件”,系统将自动完成导入。 导入完成后提示同步集群配置并重启WEB服务使新证书生效,单击“确定”。 在弹出的确认窗口输入密码,单击“确定”自动同步集群配置并重启WEB服务。 如在同步集群配置过程中,刷新了页面或关闭了浏览器,需执行以下操作手动重启WEB服务:
报的问题。 解决管控面提交Spark长稳业务中业务jar包和业务表在同一个OBS桶下偶现OBS 403认证过期的问题。 解决租户资源管理单击关联用户无响应的问题。 解决登录环境时偶现瞬间退出,需要清理浏览器缓存,才能正常登录的问题。 修改密码过期策略,页面新增提示修改完策略需要再次修改用户密码,策略才能生效。
每个taskmanager中netty客户端线程数,通过-yD添加。 20 选填 state.backend.rocksdb.files.open 最大打开文件数目,-1意味着没有限制,通过-yD添加。 -1 选填 state.backend.rocksdb.compaction.level.use-dynamic-size
访问OBS的AK/SK信息可通过如下方式获取: 登录华为云管理控制台。 单击右上角的用户名,然后选择“我的凭证”。 系统跳转至“我的凭证”页面,单击“访问密钥”。 单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器自动下载一个“credentials.csv”文件
显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在浏览器地址栏的URL地址后追加“/servicehealth”重新访问,“statusCode”对应的值即为当前Oozie的服务健康状态码。 例如,在浏览器中访问“https://10.10.0.117:20026/O
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志,无
以上Jar包名称仅供参考,具体名称以实际生成为主。 调用Hive的SpringBoot样例接口触发样例代码运行: Windows环境运行方式: 打开浏览器,输入:http://localhost:8080/hive/example/executesql。 Linux环境下执行运行方式: 在2中存放Jar的节点上执行curl
Yarn资源池可用资源指标异常,导致弹性伸缩触发异常。 Yarn ResourceManager长时间运行后发现大量ContainerIdPBImpl对象占用内存,可能是内存泄漏。 HDFS客户端leaserenewer线程泄漏。 HDFS重启后权限属性丢失,导致数据无法读取。 备NameN
如果当前集群支持手动添加服务,也可以在首次添加HBase服务时,选择部署Thrift1Server实例,服务添加成功后,需重启Hue服务,详情请参考添加服务。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击HBase,进入“HBase Browser”页面。 新建HBase表 访问Hue
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题: 配置MRS集群存算分离