检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题: Flink开发指南(普通模式)
调测HDFS应用 在本地Windows中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(普通模式)
调测Strom应用 打包Strom样例工程应用 打包Strom应用业务 提交Storm拓扑 查看Storm应用调测结果 父主题: Storm开发指南(普通模式)
准备Flink应用开发环境 准备本地应用开发环境 导入并配置Flink样例工程 导入并配置Flink SpringBoot样例工程 父主题: Flink开发指南(普通模式)
准备Hive应用开发环境 准备Hive应用开发和运行环境 导入并配置Hive样例工程 父主题: Hive开发指南(普通模式)
准备Oozie应用开发环境 准备本地应用开发环境 导入并配置Oozie样例工程 父主题: Oozie开发指南(普通模式)
父主题: HBase数据读写样例程序
查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。
Spark从HBase读取数据再写入HBase样例程序(Python) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。
Spark从HBase读取数据再写入HBase样例程序(Python) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。
MRS Manager界面操作:登录MRS Manager页面,选择“服务管理 > Storm > 服务配置”,“参数类别”选择“全部配置”。
产生的数据为一个四元组(Long,String,String,Integer)。 数据经统计后,统计结果打印到终端输出。 打印输出的结果为Long类型的数据。 开发思路 source算子每隔1秒钟发送10000条数据,并注入到Window算子中。
父主题: 访问MRS组件Web UI界面常见异常问题
默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
父主题: HBase数据读写样例程序
hbase.log.maxbackupindex=20 //最多保存的日志文件数目 # Security audit appender hbase.security.log.file=hbase-client-audit.log //审计日志文件命令 父主题: HBase数据读写样例程序
创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”。