检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kafkasource; 创建的cksink表中username、password参数填写的用户为具有ClickHouse相应表权限的用户及密码，详见创建ClickHouse角色。 Kafka端口号： 集群的“认证模式”为“安全模式”时为“sasl.port”的值，默认为“21007”。 集群的“认证模
指定的数据库不存在，在导入的过程中会创建对应的数据库； 指定的数据库已存在，且该数据库的“hive.repl.ckpt.key”属性值与导入的路径一致，则跳过导入操作。 指定的数据库已存在，但是该数据库下不存在任何表和functions，导入的过程中只将源数据库下的表导入到当
add：表示索引名与对应数据表的列的映射（索引列定义）。 indexspecs.covered.to.add（可选）：表示索引中冗余存储的数据表的列（覆盖列定义）。 indexspecs.covered.family.to.add（可选）：表示索引表冗余存储的数据表的列族（覆盖列族定义）。
添加集群到KafkaManager的WebUI界面 更新集群参数 删除KafkaManager的WebUI界面的集群 添加集群到KafkaManager的WebUI界面 首次创建Kafka集群后会在KafkaManager的WebUI界面创建名为my-cluster的默认Kafka集群，用户
集群上可以存在多个资源集合来支持多个用户的不同需求。 MRS支持细粒度权限管理，结合华为云IAM服务提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对MRS服务，管理
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入目录“/op
开源confluent-kafka-go如何连接MRS的安全集群？ 问题现象 开源confluent-kafka-go连接MRS的安全集群失败。 原因分析 confluent-kafka-go依赖的库librdkafka默认将broker所在hostname作为了server principle的一部分来使用，导致认证失败。
以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。 图1 选择Remote 选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如图2所示。
Spark并发写Hudi建议 涉及到并发场景，推荐采用分区间并发写的方式：即不同的写入任务写不同的分区 分区并发参数控制： SQL方式： set hoodie.support.partition.lock=true; DataSource Api方式： df.write .format("hudi")
OBS对象存储是支持海量数据存储，并提供安全可靠的、低成本的分布式存储服务，ClickHouse基于OBS的优势构建冷热分离存储架构。ClickHouse实例所在的SSD云盘存放最近时间生成并且频繁访问的“热数据”，OBS存放较早时间生成且访问不频繁的“冷数据”，在建表的时候使用TTL实现数据根据特定时间策略进行冷热存储。
操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高可用、高性能模式后，数据可靠性会降低
若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*
若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*
JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置，用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服
在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。
以HBaseContext的方式操作HBase，将上面生成的RDD写入HBase表中。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
enabled为true时，是否压缩记录的事件。 false EventLog的周期清理 JobHistory上的Event log是随每次任务的提交而累积的，任务提交的次数多了之后会造成太多文件的存放。Spark提供了周期清理Evnet log的功能，用户可以通过配置开关和相应的清理周期参数来进行控制。
] } ] } 示例4：授权用户最小权限，创建ECS规格的MRS集群。 创建集群时如果使用密钥对，需增加权限“ecs:serverKeypairs:get”和“ecs:serverKeypairs:list”。 创集群时使用数据盘加密，需增加权限“kms:cmk:list”。
创建MRS集群时计价器为什么未显示价格？ 问题 创建MRS集群时计价器为什么未显示价格？ 回答 只选择磁盘个数，没有选择集群虚拟机实例个数时，产品报价是不会产生收费的；需要客户选择实例个数，产品报价会在浏览器下方即时显示出来。 父主题： 计费FAQ
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
