检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
还是Consumer。 Kafka应用开发常用概念 准备开发环境 Kafka的客户端程序当前推荐使用java语言进行开发,并使用Maven工具构建工程。 准备Maven和JDK 准备运行环境 Kafka的样例程序运行环境即MRS服务所VPC集群的节点。 - 准备工程 Kafka提
在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件
Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发和运行环境 Kafka的客户端程序当前推荐使用java语言进行开发,可使用IntelliJ IDEA工具开发。 Kafka的运行环境即Kafka客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开
在开始开发应用前,需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程
IoTDB应用开发的流程说明 阶段 说明 参考章节 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具,同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息
Manager管理界面,重启Kafka服务所有Broker实例。 Kafka客户端配置Kafka Token认证。 参考Kafka Token认证机制工具使用说明为用户生成Token。 二次开发样例工程配置。 在二次开发样例的Producer()和Consumer()中对其进行配置。配置的样例代码可参考使用Kafka
下载客户端程序,请参考下载MRS客户端。 登录客户端下载目标节点,以root用户安装集群客户端。 执行以下命令解压客户端包。 tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。 sha256sum -c /opt/MRS_Services_ClientConfig
Manager管理界面,重启Kafka服务所有Broker实例。 Kafka客户端配置Kafka Token认证。 参考Kafka Token认证机制工具使用说明为用户生成Token。 二次开发样例工程配置。 在二次开发样例的Producer()和Consumer()中对其进行配置。配置的样例代码可参考使用Kafka
一个目录设置多个规则和动作时,规则被先触发的放在规则/动作列表的下面,规则被后触发的放在规则/动作列表的上面,避免动作反复执行。 系统每个小时整点扫描动态存储策略指定的目录下的文件是否符合规则,如果满足,则触发执行动作。执行日志记录在主NameNode的“/var/log/Bigdata/hdfs/nn/hadoop
其中表名“t1”也可替换为全限定名“hive.tpcds_2gb.t1”,但不能为“tpcds_2gb.t1”。 物化视图的“查询重写”不支持全表扫描,SQL查询没有使用Where子句,无法被查询重写。 例如:表“hivetb1”的列定义包含了“id”、“name”、“age”三个列,如下SQL查询就无法被“查询重写”。
1000(用户历史消费金额)。 上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用HBase shell工具,创建HBase table1和table2,并分别插入数据。 通过HBase创建名为table1的表,命令如下。 create 'table1'
Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Kafka的客户端程序当前推荐使用java语言进行开发,可使用IntelliJ IDEA工具开发。 Kafka的运行环境即Kafka客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开
> 样例工程名称 > Lifecycle > compile”,双击“compile”运行maven的compile命令。 图2 maven工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean compile命令进行编译。
还需确保该目录下已存在HBase访问多个ZooKeeper样例程序所需的“zoo.cfg”和“jaas.conf”文件。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start
[ORDER BY expr_list] ClickHouse在创建表时建议携带PARTITION BY创建表分区。因为ClickHouse数据迁移工具是基于表的分区作数据迁移,在创建表时如果不携带PARTITION BY创建表分区,则在集群内ClickHouseServer节点间数据迁移界面无法对该表进行数据迁移。
能大数据存储方案,以一份数据同时支持多种应用场景,并通过多级索引、字典编码、预聚合、动态Partition、准实时数据查询等特性提升了IO扫描和计算性能,实现万亿数据分析秒级响应。同时MRS支持自研增强型调度器Superior,突破单集群规模瓶颈,单集群调度能力超10000节点。
]' 如果用户表中已经存在名称为'd'的ColumnFamily,则用户必须使用TableIndexer工具构建索引数据。 运行LoadIncrementalHFiles工具加载索引数据,将旧集群索引数据加载到新集群表中。 命令如下: hbase org.apache.hadoop
检查knox进程是否异常。 登录FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。 使用PuTTY工具,以root用户登录该告警的主机地址。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME}/om-se
[ORDER BY expr_list] ClickHouse在创建表时建议携带PARTITION BY创建表分区。因为ClickHouse数据迁移工具是基于表的分区进行数据迁移,在创建表时如果不携带PARTITION BY创建表分区,则在集群内ClickHouseServer节点间数据迁移界面无法对该表进行数据迁移。
创建作业成功并进入作业开发界面。 表2 新建作业信息 参数名称 参数描述 取值样例 类型 作业类型,包括Flink SQL和Flink Jar。 Flink SQL 名称 作业名称,只能包含英文字母、数字和下划线,且不能多于64个字符。 flinktest1 作业类型 作业数据来源类型,包括流作业和批作业。