检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'{replica}') PARTITION BY toYYYYMM(d)ORDER BY a; 配置“ClickHouse输出”算子,如下图: 作业执行成功后,查看testck4表中数据: 父主题: 输出算子
Sqoop1.4.7适配MRS 3.x集群 Sqoop是专为Apache Hadoop和结构化数据库(如关系型数据库)设计的高效传输大量数据的工具。客户需要在MRS中使用sqoop进行数据迁移,MRS旧版本中未自带Sqoop,客户可参考此文档自行安装使用。MRS 3.1.0及之后
0及之前版本集群中的组件不可以删除,如果不使用的话可以登录集群Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持删除组件,具体请参见管理服务操作。 父主题: 组件管理类
如何修改FlumeClient的日志为标准输出日志? 登录Flume客户端安装节点。 进入Flume客户端安装目录,假设Flume客户端安装路径为“/opt/FlumeClient”,可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1
MRS是否支持同时运行多个Flume任务? Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。 这些组件可以链接以形成多个数据流。 例如在一个配置中配置两个数据流,示例如下: server
MRS集群内节点是否支持降配操作? 问: MRS集群内节点是否支持降配操作? 答: MRS集群内节点暂不支持降级配置规格。 父主题: 产品咨询类
Hudi Compaction操作说明 Compaction用于合并mor表Base和Log文件。 对于Merge-On-Read表,数据使用列式Parquet文件和行式Avro文件存储,更新被记录到增量文件,然后进行同步/异步compaction生成新版本的列式文件。Merge
alias or column reference 'xxx'. 解决方案:set hive.cbo.enable=true; Hive SQL子查询编译报错:Unsupported SubQuery Expression 'xxx': Only SubQuery expressions
是 String 参数解释: 数据连接类型。 约束限制: 不涉及 取值范围: RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及
是 String 参数解释: 数据连接类型。 约束限制: 不涉及 取值范围: RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及
开发Impala应用 Impala样例程序开发思路 创建Impala表 加载Impala数据 查询Impala数据 分析Impala数据 开发Impala用户自定义函数 父主题: Impala开发指南
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase
管理MRS集群用户 创建MRS集群用户 修改MRS集群用户信息 锁定MRS集群用户 删除MRS集群用户 初始化MRS集群用户密码 下载MRS集群用户认证凭据文件 父主题: 管理MRS集群用户
集群互信管理 MRS集群互信概述 修改MRS集群系统域名 配置MRS集群间互信 配置互信MRS集群的用户权限 父主题: MRS集群安全配置
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客
ClickHouse开发指南(安全模式) ClickHouse应用开发简介 准备ClickHouse应用开发环境 开发ClickHouse应用 调测ClickHouse应用
调测Manager应用 在本地开发环境中调测Manager应用 查看Manager应用调测结果 父主题: Manager管理开发指南
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题: Oozie开发指南(安全模式)
HDFS应用开发简介 HDFS简介 HDFS(Hadoop Distribute File System)是一个适合运行在通用硬件之上,具备高度容错特性,支持高吞吐量数据访问的分布式文件系统,非常适合大规模数据集应用。 HDFS适用于如下场景: 处理海量数据(TB或PB级别以上)
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题: Flink开发指南(安全模式)