检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
入到查询流程的样例工程。 OpenTSDB样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测OpenTSDB应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看导入数据的状态。 查看OpenTSDB应用调测结果 父主题: OpenTSDB应用开发概述
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统,在此系统上可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外,还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路
println(result); spark.stop(); } 上面是简单示例,其它SparkSQL特性请参见如下链接:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide
collect().foreach(println) spark.stop() } } 上面是简单示例,其它sparkSQL特性请参见如下链接:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide
在Major合并中,许多segment可以合并为一个大的segment。用户将指定合并尺寸,将对未达到该尺寸的segment进行合并。Major合并通常在非高峰时段进行。 Custom合并: 在Custom合并中,用户可以指定几个segment的id合并为一个大的segment。所有指
WriteIntoKafka和com.huawei.bigdata.flink.examples.SqlJoinWithSocket。 每秒钟往Kafka中生产一条用户信息,用户信息由姓名、年龄、性别组成。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
提供了Java语言的样例工程,包含从建表、写入到删除表全流程的样例工程。 HBase样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测程序 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 查看HBase应用调测结果 父主题: HBase应用开发概述
程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Spark2x
Doris租户角色和用户关联关系介绍 通过FusionInsight Manager服务配置和租户管理页面的操作,用户可以实现创建租户、关联服务、设置租户资源配置、租户关联用户等操作。Manager侧和Doris侧的角色和用户关联关系如下图所示: 租户关系中“用户 > 租户角色 >
Storm样例程序开发思路 通过典型场景,用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统,数据源为持续生产随机文本的逻辑单元,业务处理流程如下: 数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。
impl”:指定使用Hive还是Spark SQL native作为SQL执行引擎来读取ORC数据,默认为hive。 配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 取值范围
根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测Oozie应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测Oozie应用 父主题: Oozie应用开发概述
能:实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 创建topic的命令格式:
mask_hash(string|char|varchar str) →varchar 描述:返回基于str的散列值。散列是一致的,可以用于跨表连接被屏蔽的值。对于非字符串类型,返回NULL。 select mask_hash('panda');
创建高查询性能的CarbonData表 操作场景 本章节根据超过50个测试用例总结得出建议,帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时,可使用Flink Jar的方式提交Flink SQL语句,以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句,多个语句之间使用分号分隔。 父主题:
MapReduce服务集群的Task节点如何收费? 问题 MapReduce服务集群的Task节点如何收费? 回答 包年/包月集群和按需计费集群的Task节点的计费模式都是按需计费,即按实际使用时长计费,计费周期为一小时。 父主题: 计费FAQ
rn上的作业状态不一致? 问: 为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致? 答: 为了节约存储空间,用户修改了Yarn的配置项yarn.resourcemanager.max-completed-applications,减小yarn上历史作
检查HBase全局二级索引数据一致性 场景介绍 可使用全局二级索引工具检查用户数据和索引数据的一致性,如果索引数据与用户数据不一致,该工具可用于重新构建索引数据。 检查全局二级索引数据一致性 在HBase客户端执行以下命令可检查数据一致性,如果不一致,将重新构建索引数据。一致性检
通过典型场景,您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 编译并运行程序 指导用户将开发好的程序编译并提交运行。 查看程序运行结果 程序运行结果会写在用户指定的路径下。 用户还可以通过UI查看应用运行情况。 父主题: Storm应用开发概述