检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。
以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。
使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。
JobManager Flink系统的管理节点,管理所有的TaskManager,并决策用户任务在哪些Taskmanager执行。JobManager在HA模式下可以有多个,但只有一个主JobManager。 Flink系统提供的关键能力: 低时延 提供ms级时延的处理能力。
创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。
开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题: Kafka
管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例:通过Loader将数据从OBS导入HDFS Loader常见问题
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
默认情况下,OMS备份的文件最大保留个数为90,该任务指导系统管理员配置此最大保留个数。 本章节操作仅支持MRS 3.x及之后的版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不支持在备管理节点上修改审计日志备份文件数,否则可能造成集群无法正常工作。
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。
创建HBase表二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。
Manager界面登录用户被锁如何解锁 问题现象 Manager登录时显示:这个账户已经被锁住了,请联系系统管理员来重新获得访问权限。 Manager界面登录用户被锁,导致作业无法提交并无法进入Manager页面。
select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”
支持管理检查点、回滚和恢复,保证exactly once语义。 支持自定义转换操作。
开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题: Kafka
使用Flink Flink作业引擎概述 Flink用户权限管理 Flink客户端使用实践 创建FlinkServer作业前准备 创建FlinkServer作业 管理FlinkServer作业 Flink企业级能力增强 Flink运维管理 Flink性能调优 Flink客户端常见命令说明
Flink与其他组件的关系 Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式,在该模式下,Flink作为Yarn上的一个应用,提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。
通过MapReduce服务的WebUI进行查看 登录MRS Manager,单击“服务管理 > MapReduce > JobHistoryServer”进入Web界面后查看任务执行状态。
使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题