正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS应用开发开源jar包冲突列表说明 HBase HDFS Kafka Spark
调测HBase应用 在本地Windows环境中调测HBase应用 在Linux环境中调测HBase应用 父主题: HBase开发指南(安全模式)
调测HDFS应用 在本地Windows环境中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(安全模式)
调测Doris应用 在本地Windows环境中调测Doris应用 在Linux环境中调测Doris应用 父主题: Doris开发指南(安全模式)
调测Kafka应用 调测Kafka Producer样例程序 调测Kafka Consumer样例程序 调测Kafka High Level KafkaStreams API样例程序 调测Kafka Low Level KafkaStreams API样例程序 父主题: Kafka开发指南(普通模式)
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题: Oozie开发指南(普通模式)
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase
Hive主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 数据文件加密机制。 开源社区的Hive特性,请参见https://cwiki
调测Hive应用 在本地Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 调测Hive SpringBoot样例程序
调测Kafka应用 调测Kafka Producer样例程序 调测Kafka Consumer样例程序 调测Kafka High level Streams样例程序 调测Kafka Low level Streams样例程序 调测Kafka Token认证机制样例程序 调测Kafka
开发Impala应用 Impala样例程序开发思路 创建Impala表 加载Impala数据 查询Impala数据 分析Impala数据 开发Impala用户自定义函数 父主题: Impala开发指南
获取指定目录文件列表 功能介绍 在MRS集群中获取指定目录文件列表。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/files 表1 路径参数 参数 是否必选 参数类型 描述 project_id
MRS 3.1.2-LTS.3版本说明 发布日期 MRS 3.1.2-LTS.3 2022年5月1日 更新内容 首个商用LTS版本上线。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 21.3.4.25 DBService
Hudi DML语法说明 INSERT INTO MERGE INTO UPDATE DELETE COMPACTION SET/RESET ARCHIVELOG CLEAN CLEANARCHIVE 父主题: Hudi SQL语法参考
创建表关联OpenTSDB 功能描述 MRS的Spark实现了访问OpenTSDB的Datasource,能够在Spark中创建关联表,查询和插入OpenTSDB数据。 使用CREATE TABLE命令创建表并关联OpenTSDB上已有的metric。 若OpenTSDB上不存在metric,查询对应的表会报错。
插入数据至OpenTSDB表 功能描述 使用INSERT INTO命令将表中的数据插入到已关联的OpenTSDB metric中。 语法格式 INSERT INTO TABLE_NAME SELECT * FROM SRC_TABLE; INSERT INTO TABLE_NAME
Hudi SQL使用约束 Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法,使得所有用户(非工程师、分析师等)更容易访问和操作Hudi。 约束 支持在Hudi客户端执行Spark SQL操作Hudi。 支持在Spark2x的JDBCServer中执行Spark
新建CarbonData表 操作场景 使用CarbonData前需先创建表,才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例: CREATE TABLE IF
删除CarbonData表 操作场景 可使用DROP TABLE命令删除表。删除表后,所有metadata以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 命令: DROP TABLE [IF EXISTS] [db_name.]table_name; 一旦执行该
CREATE SECONDARY INDEX 命令功能 该命令用于在CarbonData表中创建二级索引表。 命令格式 CREATE INDEX index_name ON TABLE [db_name.]table_name (col_name1, col_name2) AS 'carbondata'