检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader开源增强特性 Loader开源增强特性:数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展,除了包含Sqoop开源组件本身已有的功能外,还开发了如下的增强特性: 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS
访问MRS集群上托管的开源组件Web页面 如果组件支持开源WebUI,则在组件基本信息区域可通过WebUI的链接访问开源WebUI。 对于开启Kerberos认证的集群,admin用户不具备各组件的管理权限,如需正常访问各组件的Web UI界面,请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。
开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业
一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。
能 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。MRS Hive提供配置开关,默认为创建临时函数需要ADMIN权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADMIN权限。 Hive开源增强特性:支持数据库授权 Hive开源社区版本只支
Hue开源增强特性 Hue开源增强特性 存储策略定义。HDFS文件存储在多种等级的存储介质中,有不同的副本数。本特性可以手工设置HDFS目录的存储策略,或者根据HDSF文件最近访问时间和最近修改时间,自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。
版本支持公告 MRS集群版本生命周期
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
Loader常见问题 IE 10&IE 11浏览器无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 父主题: 使用Loader
MapReduce常见问题 ResourceManager进行主备切换后,任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级
使用Oozie 使用Oozie客户端提交作业 使用Hue提交Oozie作业 开启Oozie HA机制 Oozie日志介绍 Oozie常见问题
使用Hue提交Oozie作业 使用Hue创建工作流 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie HQL脚本 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie
Oozie常见问题 Oozie定时任务没有准时运行如何处理 HDFS上更新了oozie的share lib目录但没有生效 Oozie作业执行失败常用排查手段 父主题: 使用Oozie
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS
Spark运维管理 快速配置参数 常用参数 Spark2x日志介绍 调整Spark日志级别 配置WebUI上查看Container日志 获取运行中Spark应用的Container日志 配置Spark Eventlog日志回滚 配置WebUI上显示的Lost Executor信息的个数
使用Hue WebUI典型场景 HDFS on Hue 配置HDFS冷热数据迁移 Hive on Hue Oozie on Hue 父主题: 使用Hue(MRS 3.x及之后版本)
使用Hue(MRS 3.x之前版本) 访问Hue WebUI界面 使用Hue WebUI操作Hive表 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 Hue常用配置参数
使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
使用Presto 访问Presto的WebUI 使用Presto客户端执行查询语句 Presto常见问题