检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
完整迁移Storm业务 操作场景 该任务指导用户通过Storm业务完整迁移的方式转换并运行完整的由Storm API开发的Storm拓扑。 操作步骤 打开Storm业务工程,修改工程的pom文件,增加“flink-storm” 、“flink-core”和“flink-streaming-java_2
使用Ranger(MRS 3.x) 登录Ranger WebUI界面 MRS集群服务启用Ranger鉴权 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 普通集群修改Ranger数据源为Ldap 查看Ranger用户权限同步信息
作业管理 批量迁移Loader作业 批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看作业历史信息 父主题: 使用Loader
输入算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: 算子帮助
DDL CREATE TABLE CREATE TABLE As SELECT DROP TABLE SHOW TABLES ALTER TABLE COMPACTION TABLE RENAME ADD COLUMNS DROP COLUMNS CHANGE DATA TYPE
使用Hue(MRS 3.x及之后版本) 访问Hue WebUI界面 使用Hue WebUI操作Hive表 创建Hue操作任务 使用Hue WebUI典型场景 Hue常用配置参数 Hue日志介绍 Hue常见问题
使用CarbonData(MRS 3.x之前版本) 从零开始使用CarbonData CarbonData表简介 创建CarbonData表 删除CarbonData表
使用Ranger(MRS 1.9.2) 创建Ranger集群 访问Ranger WebUI及同步Unix用户到Ranger WebUI 在Ranger中配置Hive/Impala的访问权限 在Ranger中配置HBase的访问权限
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Str
Tez常见问题 TezUI无法展示Tez任务执行细节 进入Tez WebUI界面显示异常 TezUI界面无法查看Yarn日志 TezUI HiveQueries界面表格数据为空 父主题: 使用Tez
使用ZooKeeper 使用ZooKeeper客户端 配置ZooKeeper ZNode ACL ZooKeeper常用配置参数 ZooKeeper日志介绍 ZooKeeper常见问题
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
使用DBService DBService日志介绍
Hudi常见配置参数 写入操作配置 同步Hive表配置 index相关配置 存储配置 compaction&cleaning配置 单表并发控制配置 父主题: 使用Hudi
Hudi常见问题 数据写入 数据采集 Hive同步 父主题: 使用Hudi
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题: 使用Oozie
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
数据导出 概述 使用Loader导出数据 典型场景:从HDFS/OBS导出数据到SFTP服务器 典型场景:从HBase导出数据到SFTP服务器 典型场景:从Hive导出数据到SFTP服务器 典型场景:从HDFS/OBS导出数据到关系型数据库 典型场景:从HBase导出数据到关系型数据库