检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 创建Catalog。 Hive表数据存储在HDFS中,执行以下命令创建Catalog: 集群已启用Kerberos认证(安全模式):
解决MemartsCC文件名超过256时,缓存文件写入失败问题 解决MemartsCC缓存从OBS读失败场景,缓存日志不打印requestID问题 解决MemartsCC开源软件高危问题 解决MemartsCC安全认证长时间未返回问题 补丁兼容关系 MRS 3.1.2-LTS.2.9补丁包中包含所有MRS 3.1.2-LTS
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令创建数据库: create database if not exists example_db;
API接口 功能 说明 Scala API 提供Scala语言的API,提供过滤、join、窗口、聚合等数据处理能力。由于Scala语言的简洁易懂,推荐用户使用Scala接口进行程序开发。 Java API 提供Java语言的API,提供过滤、join、窗口、聚合等数据处理能力。 Flink基本概念
研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。
例如上传至“/opt/hadoopclient”。 在jar包所在目录下创建“conf”目录,将准备集群配置文件中获取的集群客户端配置文件软件包内“Flink/config”内的配置文件上传至“conf”目录。 将应用程序待处理的源数据文件上传至NodeManager实例所在节点。
Unique模型针对需要唯一主键约束的场景,可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。 对于聚合查询有较高性能需求的用户,推荐使用自1.2版本加入的写时合并实现。 Unique模型仅支持整行更新,如果用户既需要唯一主键约束,又需要更新部分列(例如将多张源表导入到一
mples”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”,如无特殊需求,相关配置使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成样例工程导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example
Unique模型针对需要唯一主键约束的场景,可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。 对于聚合查询有较高性能需求的用户,推荐使用自1.2版本加入的写时合并实现。 Unique模型仅支持整行更新,如果用户既需要唯一主键约束,又需要更新部分列(例如将多张源表导入到一
-examples”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example.p
Unique模型针对需要唯一主键约束的场景,可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。 对于聚合查询有较高性能需求的用户,推荐使用写时合并实现。 Unique模型仅支持整行更新,如果用户既需要唯一主键约束,又需要更新部分列(例如将多张源表导入到一张Doris表的场
如上表所示,yarn-cluster模式中不支持在Spark工程代码中进行安全认证,因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码,推荐在运行应用程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。
如上表所示,yarn-cluster模式中不支持在Spark工程代码中进行安全认证,因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码,推荐在运行应用程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。
如上表所示,yarn-cluster模式中不支持在Spark工程代码中进行安全认证,因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码,推荐在运行应用程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。 在Spark样
含了该实例对应的IP,端口,版本号和序列号等信息。 多租户模式下,JDBCServer实例是指ProxyServer(JDBCServer代理)。 客户端连接ProxyServer时,需要指定Namespace,即访问ZooKeeper哪个目录下的ProxyServer实例。在连
keystore、truststore相关配置文件,该目录是由用户自定义创建。 配置客户端访问keystore或truststore文件路径。 相对路径(推荐) 请执行如下步骤配置“flink.keystore”和“flink.truststore”文件路径为相对路径,并确保Flink客户端执行命令的目录可以直接访问该相对路径。
研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。
ions替代repartition与sort类操作。 repartitionAndSortWithinPartitions是Spark官网推荐的一个算子,官方建议,如果需要在 repartition重分区之后,还要进行排序,建议直接使用repartitionAndSortWithinPartitions
离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。 重启相关组件,可以采用重启集群或者重启组件方式。 方式一(推荐):重启集群,建议在业务空闲时间重启。 在FusionInsight Manager界面,选择“集群 > 概览 > 更多”,重启集群或者滚
离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight Manager界面。 重启相关组件,可以采用重启集群或者重启组件方式。 方式一(推荐):重启集群,建议在业务空闲时间重启。 在FusionInsight Manager界面,选择“集群 > 概览 > 更多”,重启集群或者滚