检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习API的方法,类似于
开发和运行环境的基本配置。版本要求如下: MRS集群的服务端和客户端仅支持自带的Oracle JDK(版本为1.8),不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的,支持Oracle JDK和IBM JDK。 Oracle JDK:支持1.7和1.8版本。 IBM JDK:推荐1
命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述 table_name 需要查询的表名,支持database
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题: 使用Spark(MRS 3.x之前版本)
调测Manager应用 在本地开发环境中调测Manager应用 查看Manager应用调测结果 父主题: Manager管理开发指南
开发IoTDB应用 IoTDB JDBC样例程序 IoTDB Session样例程序 IoTDB Flink样例程序 IoTDB Kafka样例程序 IoTDB自定义函数(UDF)样例程序 父主题: IoTDB开发指南(安全模式)
Hive应用开发概述 Hive应用开发简介 Hive应用开发常用概念 Hive应用开发流程介绍 父主题: Hive开发指南
调测HDFS应用 在Linux环境中调测HDFS应用 查看HDFS应用调测结果 父主题: HDFS开发指南
调测Spark应用 编包并运行Spark应用 查看Spark应用调测结果 父主题: Spark开发指南
调测OpenTSDB应用 在Windows中调测程序 在Linux中调测程序 父主题: OpenTSDB开发指南
调测Impala应用 在Windows中调测Impala JDBC应用 在Linux中调测Impala JDBC应用 父主题: Impala开发指南
MapReduce开发指南(安全模式) MapReduce应用开发简介 MapReduce应用开发流程介绍 MapReduce样例工程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
Doris冷热分离 Doris冷热分离介绍 配置Doris冷热分离 父主题: Doris企业级能力增强
Start Action 功能描述 流程任务的执行入口,每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/>
ClickHouse逻辑视图设计 建议如下: 业务逻辑上有很多比较复杂的SQL运算,可以封装为一个视图,后续查询时只查询视图,简化业务查询使用。 如果业务间有权限隔离诉求,可将部分数据查询封装到视图中,使用视图方只能看到视图下有限行及列的数据。 父主题: ClickHouse应用开发规范
HDFS文件操作节点,支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签
CREATE MATERIALIZED VIEW materialized_view_name 描述 显示用于创建物化视图的SQL语句。 示例 显示创建物化视图的SQL语句。 hetuengine:tpcds_2gb> show create materialized view mv
API使用样例基础上,实现了多线程并发消费,可根据Topic的Partition数目起相应个数的Consumer线程来对应消费消息。 下面代码片段在com.huawei.bigdata.kafka.example.ConsumerMultThread类中,用于实现对指定Topic的并发消费。 Kafka不支持无缝集成SpringBoot项目。
以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 private void createDatabase(String