检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面指定的操作，系统就得到了恢复。下面介绍了如何利用这样的概念保证接收到的数据的持久性。 Kafka数据源使用Receiver来接收数据，是Executor中的长运行任务，负责从数据源接收数据，并且在数据源支持时还负责确认收到数据的结果（收到的数据被保存在Executor的内存中，
主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中，配置主备集群所有机器的机器名与业务IP地址的对应关系。 如果主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。
每个消息体（记录）之间的分隔符。 kafka_schema 否 如果解析格式需要一个schema时，此参数必填。 kafka_num_consumers 否 单个表的消费者数量。默认值是：1，如果一个消费者的吞吐量不足，则指定更多的消费者。消费者的总数不应该超过topic中分区的数量，因为每个分区只能分配一个消费者。
需要添加组件操作用户到Ranger策略中的URL策略，URL填写对象在OBS上的完整路径，权限选择Read, Write 权限，其他权限不涉及URL策略。详细操作MRS 3.x之前版本请参考在Ranger中配置Hive的访问权限，MRS 3.x及之后版本请参考添加Hive的Ranger访问权限策略。
在“安全组”中选择当前集群所在的安全组，该安全组在创建集群时配置或集群自动创建。 创建自定义集群时，安全组可配置提前创建的安全组或保持默认“自动创建”；快速创建集群时，安全组由集群自动创建。 安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则，默认填充的是用户访问弹性IP地址的规则，如
kafka作为source时必选 String Kafka的使用者组ID format 必选 String 用于反序列化和序列化Kafka消息的值部分的格式 properties.* 可选 String 安全模式下需增加认证相关的参数 scan.topic-partition-discovery
--create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka ./kafka-topics.sh
配置相同的名称。 脚本路径 obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以obs://开头，以.sh结尾。例如：obs://mrs-samples/xxx.sh 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以
为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后，需要将代码中USER_NAME = "xxx"的"xxx"改成在准备MRS应用开发用户阶段创建的开发用户。 操作步骤
本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录（VNC方式）和如何使用密钥或密码方式（SSH方式）登录MRS集群中的节点，远程登录主要用于紧急运维场景，远程登录弹性云服务器进行相关维护操作。其他场景下，建议用户采用SSH方式登录。 如果需要使用SSH方式登录集群节点，需要在集群的安全组规则中手动添
管理MRS角色实例组 MRS支持对多个实例组的管理功能，即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。 针对实例组进行的配置参数修改，将同时对组内所有的实例生效。 本操作适用于MRS 3.x及之后版本。 管理MRS角色实例组 登录MRS集群Man
HDFS时，建议使用的版本为2.8.X、3.1.X，请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 CDM服务
DataStream样例程序（Scala） 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。 代码样例 下面代码片段仅为演示，完整代码参见FlinkStreamScalaExample样例工程下的com.huawei.bigdata.flink.examples.
] } ] } 上述的“Resource”配置表示可访问配置的并行文件系统系统的所有资源，guardian-obs为创建OBS并行文件系统创建的OBS并行文件系统名称。 单击“下一步”，在“选择策略”页面勾选5创建的策略名称。 单击“下一步”，在“选择授权范
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
DataStream样例程序（Java） 功能介绍 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。 代码样例 下面代码片段仅为演示，完整代码参见FlinkStreamJavaExample样例工程下的com.huawei.bigdata.flink.examples.Fl
客户端管理”，在客户端管理界面查看是否存在待操作的客户端。 是，执行3。 否，单击“添加”，根据界面提示配置待添加客户端的相关信息，单击“确定”。然后执行3。 在待更新的客户端后的“操作”列单击“更新”。 如果需要批量更新客户端，请勾选待更新的客户端（客户端的安装“用户”必须相同）后，选择“更多
r已集成的各服务权限管理插件，用户可通过对应插件设置更细粒度的权限，具体主要操作页面功能描述参见表1。 表1 Ranger界面操作入口功能描述 入口 功能描述 Access Manager 查看当前Ranger已集成的各服务权限管理插件，用户可通过对应插件设置更细粒度的权限，具体操作请参考添加Ranger权限策略。
当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行进行汇总，将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行，则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree
查看此进程中占用CPU高的线程。 使用命令top -H -p <PID>即可打印出某进程<PID>下的线程的CPU耗时信息。 一般某个进程如果出现问题，是因为某个线程出现问题了，获取查询到的占用CPU最高的线程号。 或者使用命令ps -mp <PID> -o THREAD,tid
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
