正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中,配置主备集群所有机器的机器名与业务IP地址的对应关系。 如果主集群的客户端安装在集群外的节点上,也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。
每个消息体(记录)之间的分隔符。 kafka_schema 否 如果解析格式需要一个schema时,此参数必填。 kafka_num_consumers 否 单个表的消费者数量。默认值是:1,如果一个消费者的吞吐量不足,则指定更多的消费者。消费者的总数不应该超过topic中分区的数量,因为每个分区只能分配一个消费者。
在“安全组”中选择当前集群所在的安全组,该安全组在创建集群时配置或集群自动创建。 创建自定义集群时,安全组可配置提前创建的安全组或保持默认“自动创建”;快速创建集群时,安全组由集群自动创建。 安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则,默认填充的是用户访问弹性IP地址的规则,如
引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明: 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 O
kafka作为source时必选 String Kafka的使用者组ID format 必选 String 用于反序列化和序列化Kafka消息的值部分的格式 properties.* 可选 String 安全模式下需增加认证相关的参数 scan.topic-partition-discovery
--create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka ./kafka-topics.sh
为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后,需要将代码中USER_NAME = "xxx"的"xxx"改成在准备MRS应用开发用户阶段创建的开发用户。 操作步骤
本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录(VNC方式)和如何使用密钥或密码方式(SSH方式)登录MRS集群中的节点,远程登录主要用于紧急运维场景,远程登录弹性云服务器进行相关维护操作。其他场景下,建议用户采用SSH方式登录。 如果需要使用SSH方式登录集群节点,需要在集群的安全组规则中手动添
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
DataStream样例程序(Java) 功能介绍 统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印。 代码样例 下面代码片段仅为演示,完整代码参见FlinkStreamJavaExample样例工程下的com.huawei.bigdata.flink.examples.Fl
管理MRS角色实例组 MRS支持对多个实例组的管理功能,即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。 针对实例组进行的配置参数修改,将同时对组内所有的实例生效。 本操作适用于MRS 3.x及之后版本。 前提条件 已登录MRS集群Manager界
HDFS时,建议使用的版本为2.8.X、3.1.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CDM服务
DataStream样例程序(Scala) 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 代码样例 下面代码片段仅为演示,完整代码参见FlinkStreamScalaExample样例工程下的com.huawei.bigdata.flink.examples.
] } ] } 上述的“Resource”配置表示可访问配置的并行文件系统系统的所有资源,guardian-obs为创建OBS并行文件系统创建的OBS并行文件系统名称。 单击“下一步”,在“选择策略”页面勾选5创建的策略名称。 单击“下一步”,在“选择授权范
r已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体主要操作页面功能描述参见表1。 表1 Ranger界面操作入口功能描述 入口 功能描述 Access Manager 查看当前Ranger已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体操作请参考添加Ranger权限策略。
指定的数据库不存在,在导入的过程中会创建对应的数据库; 指定的数据库已存在,且该数据库的“hive.repl.ckpt.key”属性值与导入的路径一致,则跳过导入操作。 指定的数据库已存在,但是该数据库下不存在任何表和functions,导入的过程中只将源数据库下的表导入到当
th-dependencies”字段的Jar包放进该路径下,并在该目录下创建子目录“src/main/resources"。将hive-rest-client-example工程resources目录下的所有文件复制到“resources”下。 执行以下命令启动SpringBoot服务:
当合并SummingMergeTree表的数据片段时,ClickHouse会把所有具有相同主键的行进行汇总,将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行,则可以显著的减少存储空间并加快数据查询的速度。 AggregatingMergeTree
查看此进程中占用CPU高的线程。 使用命令top -H -p <PID>即可打印出某进程<PID>下的线程的CPU耗时信息。 一般某个进程如果出现问题,是因为某个线程出现问题了,获取查询到的占用CPU最高的线程号。 或者使用命令ps -mp <PID> -o THREAD,tid
th-dependencies”字段的Jar包放进该路径下,并在该目录下创建子目录“src/main/resources"。将hive-rest-client-example工程resources目录下的所有文件复制到“resources”下。 执行以下命令启动SpringBoot服务: