检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
准备Flink应用开发环境 准备本地应用开发环境 准备连接集群配置文件 导入并配置Flink样例工程 准备Flink安全认证 父主题: Flink开发指南(安全模式)
异步Checkpoint机制程序 Flink异步Checkpoint应用开发思路 Flink异步Checkpoint Java样例代码 Flink异步Checkpoint Scala样例代码 父主题: 开发Flink应用
HDFS应用开发常见问题 常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
调整Spark Core进程参数 操作场景 Spark on Yarn模式下,有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。
针对原因二:先停掉后台使用该Topic的应用程序,或者“auto.create.topics.enable”配置为“false”(需要重启Kafka服务),然后再做删除操作。 父主题: Kafka常见问题
复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 spark.history.store.path
ClickHouse应用开发简介 ClickHouse简介 ClickHouse应用开发常用概念 ClickHouse应用开发流程介绍 ClickHouse样例工程介绍 父主题: ClickHouse开发指南(普通模式)
准备Oozie应用开发环境 准备本地应用开发环境 导入并配置Oozie样例工程 父主题: Oozie开发指南(普通模式)
使用hive-table方式同步数据报错 问题 使用hive-table方式同步数据报错: 回答 修改hive-site.xml,加入如下值。 父主题: Sqoop常见问题
使用hcatalog方式同步hive parquet表报错 问题 同步hive parquet表,其分区字段为非string类型,无法正常使用hive import导入,只能考虑使用hcatalog方式,但是hcatalog方式报错如下: 回答 修改sqoop源码SqoopHCa
Impala应用开发常见问题 Impala JDBC接口介绍 Impala SQL接口介绍 父主题: Impala开发指南(安全模式)
准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 配置Kafka应用安全认证 父主题: Kafka开发指南(安全模式)
开发Kudu应用 建立Kudu连接 创建Kudu表 打开Kudu表 修改Kudu表 写Kudu数据 读Kudu数据 删除Kudu表 父主题: 开发Kudu应用
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(安全模式)
Oozie应用开发常见问题 常用Oozie API接口介绍 父主题: Oozie开发指南(安全模式)
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(普通模式)
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下功能: 实时统计连续网购时间超过半个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“,”。 log1
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hc
通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题: 开发Oozie应用