检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DELETE 命令功能 DELETE命令从Hudi表中删除记录。 命令格式 DELETE from tableIdentifier [ WHERE boolExpression] 参数描述 表1 DELETE参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。
操作权限。 还需在源端集群和目标集群启用集群间复制功能。 需配置源端集群访问目标集群HDFS服务地址参数。 登录源端集群的FusionInsight Manager,选择“集群 > 服务 > Hive > 配置”,搜索“hdfs.site.customized.configs”,新增自定义参数“dfs
Flink SQL语法增强 本章节适用于MRS 3.3.0及以后版本。 FlinkSQL DISTRIBUTEBY FlinkSQL新增DISTRIBUTEBY特性,根据指定的字段进行分区,支持单字段及多字段,解决数据仅需要分区的场景。示例如下: SELECT /*+ DISTRIBUTEBY('id')
MRS集群已安装CDL组件,并且正常运行。 CDL数据同步任务使用到Kafka组件。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”。 在右上角搜索框中搜索如下表2参数,并修改对应的参数值。 表2 修改Kafka参数 参数 推荐值
balancer_ip_list ClickHouse服务Balancer实例IP地址列表,整体使用括号括起,单个IP使用双引号引起,IP之间使用空格分隔。 ("192.168.1.1" "192.168.1.2") balancer_tcp_port ClickHouse服务Balancer实例TCP端口。
-java-5.1.21.jar。 重启Loader服务。 MRS 3.x及之后版本: 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic>
使用多线程Consumer消费消息 功能介绍 在使用Consumer API订阅安全Topic并消费基础上,实现了多线程并发消费,可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。 下面代码片段在com.huawei
FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。
使用多线程Consumer消费消息 功能简介 在使用Consumer API订阅安全Topic并消费基础上,实现了多线程并发消费,可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。 下面代码片段在com.huawei
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题: Flink开发指南(安全模式)
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation)
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题: YARN开发指南(普通模式)
开发Oozie应用 开发Oozie配置文件 Oozie样例代码说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题: Oozie开发指南(普通模式)
开发Kudu应用 Kudu应用程序开发思路 开发Kudu应用 父主题: Kudu开发指南(安全模式)
Spark2x开发指南(安全模式) Spark应用开发简介 Spark应用开发流程介绍 Spark2x样例工程介绍 准备Spark应用开发环境 开发Spark应用 调测Spark应用 Spark应用开发常见问题
开发Storm应用 Storm样例程序开发思路 创建Storm Spout 创建Storm Bolt 创建Storm Topology 父主题: Storm开发指南(安全模式)
Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink对接云搜索服务(CSS)样例程序 父主题: Flink开发指南(普通模式)
开发HBase应用 HBase数据读写示例程序 HBase Rest接口调用样例程序 HBase ThriftServer连接样例程序 HBase访问多个ZooKeeper样例程序 父主题: HBase开发指南(普通模式)