检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Oozie 使用Oozie客户端提交作业 使用Hue提交Oozie作业 Oozie企业级能力增强 Oozie日志介绍 Oozie常见问题
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其他任务 父主题: 使用Oozie
使用Hue提交Oozie作业 使用Hue创建工作流 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie HQL脚本 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie
Spark常见问题 Spark Core SQL和DataFrame Spark Streaming Spark客户端设置回收站version不生效 Spark yarn-client模式下如何修改日志级别为INFO 父主题: 使用Spark/Spark2x
Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Str
使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
使用Kudu 从零开始使用Kudu 访问Kudu的WebUI
HDFS性能调优 提升HDFS写数据性能 配置HDFS客户端元数据缓存提高读取性能 使用活动缓存提升HDFS客户端连接性能 HDFS网络不稳定场景调优 优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令
使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 配置TimelineServer支持HA Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan数据性能 提升HBase实时写数据效率 提升HBase实时读数据效率 提升HBase非业务高峰期的Compaction执行速度 HBase JVM参数优化说明
创建Loader数据导出作业 使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库
Tez常见问题 Tez WebUI界面无法展示Tez任务详情 访问Tez WebUI界面异常 Tez WebUI界面无法查看Yarn日志 TezUI HiveQueries界面表格数据为空 父主题: 使用Tez
Yarn常见问题 任务完成后Container挂载的文件目录未清除 作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常 重启YARN,本地日志不被删除 执行任务时AppAttempts重试次数超过2次还没有运行失败 ResourceManager重启后,应用程序会移回原来的队列
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
添加HetuEngine数据源 使用HetuEngine跨源跨域访问数据源 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源
创建FlinkServer作业 创建FlinkServer作业写入数据至ClickHouse表 创建FlinkServer作业写入数据至Doris表 创建FlinkServer作业对接DWS表 创建FlinkServer作业对接JDBC 创建FlinkServer作业写入数据至数据仓库服务(DWS)
创建CDL作业前准备 开启Kafka高可靠功能 登录CDLService WebUI界面 上传数据库驱动文件 创建CDL数据库连接 管理CDL ENV变量 配置源数据心跳表实现数据判齐功能 父主题: 使用CDL