检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
委托管理 查询用户(组)与IAM委托的映射关系 更新用户(组)与IAM委托的映射关系 父主题: API V2
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题: 配置MRS集群存算分离
Presto接口介绍 在集群外节点运行PrestoJDBCExample缺少证书 在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 父主题: Presto开发指南
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
--------------+----------------+ 解决方法 删除旧的索引表。 DROP INDEX TEST_TABLE_INDEX ON TEST_TABLE; 异步方式创建新的索引表。 CREATE INDEX TEST_TABLE_INDEX ON TEST_TABLE(ACCOUNT1
Loader常见问题 IE 10&IE 11浏览器无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 父主题: 使用Loader
图1 创建工程 在“New Project”页面选择“Java”,然后配置工程需要的JDK和其他Java库。如下图所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话框中填写新建的工程名称。然后单击Finish完成创建。 图3 填写工程名称 父主题: 准备MapReduce应用开发环境
图1 创建工程 在“New Project”页面选择“Java”,然后配置工程需要的JDK和其他Java库。如图2所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话框中填写新建的工程名称。然后单击Finish完成创建。 图3 填写工程名称 父主题: 准备MapReduce应用开发环境
MRS 2.0.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.1 发布时间 2019-09-30 解决的问题 MRS Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增
MRS组件jar包版本与集群对应关系说明 MRS 3.2.0-LTS.1 表1 MRS 3.2.0-LTS.1版本集群Maven仓库的jar版本与组件的对应关系 组件 组件版本 jar版本 Flink 1.15.0 1.15.0-h0.cbu.mrs.320.r33 Hive 3.1
Loader常见问题 使用IE浏览器配置Loader作业时无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 SQLServer全数据类型导入HDFS数据跳过 Loader作业导入大量数据至HDFS时报错 sftp-connector连接器相关作业运行失败 父主题:
查看MRS集群已修改的组件配置参数 同步MRS集群组件配置参数 添加MRS组件自定义参数 管理MRS角色实例 管理MRS角色实例组 修改MRS角色实例参数 执行MRS角色实例主备倒换 退服和入服MRS角色实例 切换MRS集群组件Ranger鉴权 访问MRS集群上托管的开源组件Web页面
MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化
补丁安装后操作 升级客户端 不涉及。 升级HDFS上组件的zip包 不涉及。 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.1-LTS.1
Spark2x Spark2x基本原理 Spark2x多主实例 Spark2x多租户 Spark2x与其他组件的关系 Spark2x开源新特性说明 Spark跨源复杂数据的SQL查询优化 父主题: 组件介绍
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 如何迁移OBS/S3的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错 如何为ClickHouse用户赋予数据库级别的Select权限
表1 补丁基本信息 补丁号 MRS 1.8.10.1 发布时间 2020-01-07 解决的问题 MRS大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.8.10.1补丁期间会重启MRS Manager和Kafka服务,重启服务期间会引起服务暂时不可用。
定”按钮。 在“Import Maven Projects”窗口单击“Finish”按钮。 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window > Preferences”。 弹出“Preferences”窗口。 在左边导航上选择“General
单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁卸载。 是,弹性伸缩关闭,检查结束。 检查FusionInsight Manager是否有正在运行的任务 登录FusionInsight
Module”,然后单击“Next”。如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本,并勾选“Config later”(待工程创建完毕后引入scala的编译库文件),然后单击“Finish”完成工程创建。 图3