检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
authorization.enable=false 权限管理介绍 SparkSQL的权限管理是指SparkSQL中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。 Spa
的每个组件对应一个服务名,提供一种服务。 角色:角色是服务的组成要素,每个服务由一个或多个角色组成,服务通过角色安装到节点(即服务器)上,保证服务正常运行。 实例:当一个服务的角色安装到节点上,即形成一个实例。每个服务有各自对应的角色实例。 各服务的部署原则如MRS集群部署方案说明所示。
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.10 发布时间 2024-10-30 解决的问题 解决Flume后台卸载客户端后,从Flume管理的页面上无法删除该客户端实例的问题。 解决Kafka时延监控转告警(Topic数量监控、分区数量监控、请求时延监控)的问题。
例如:bucket、endpoint、root_path等信息。 Storage Policy支持进行创建、修改和删除操作,删除前需要先保证没有表引用此Storage policy。 Unique模型在开启Merge-on-Write特性时,不支持设置Storage Policy。
绑定角色或者加入绑定角色的用户组,才能获得权限。 HetuEngine的权限管理是指HetuEngine中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。 Het
authorization.enable=false 权限管理介绍 SparkSQL的权限管理是指SparkSQL中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。 Spa
<staging-table-name> 创建一个与导入目标表同样数据结构的表,将所有数据先存放在该表中,然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数据库表的过程中的事务安全性,如果在导入的过程中可能会有多个事务,则一个事务失败会影响到其它事务。如果导入的数据会出现错误或
b1)。当A表发生变化(1, a1)>(1, a2),同时B表发生变化(1, b1)>(1, b2)时,join结果如下,且join结果的顺序无法保证。 1, a1, b1 1, a2, b1 1, a1, b2 1, a2, b2 优化前SQL: create table t1 (
MRS 3.2.0-LTS.1补丁说明 MRS 3.2.0-LTS.1.7补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题
单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
Flink常用配置参数 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径
d批量写数据场景下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨
是否开启索引加载,开启后会将已存表的最新数据一次性加载到state中。 如果有全量数据接增量的需求,且已经有全量的离线Hoodie表,需要接上实时写入,同时保证数据不重复,可以开启索引加载功能。 write.index_bootstrap.tasks 否 4 如果启动作业时索引加载缓慢,可以调大该
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径/F
串后缀,有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”:在旧文件尾部合并新文件内容。合并操作只是简单的追加,不保证追加文件是否可以使用。例如文本文件可合并,压缩文件合并后可能无法使用。 “IGNORE”:保留旧文件,不复制新文件。 “ERROR”:转移
串后缀,有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”:在旧文件尾部合并新文件内容。合并操作只是简单的追加,不保证追加文件是否可以使用。例如文本文件可合并,压缩文件合并后可能无法使用。 “IGNORE”:保留旧文件,不复制新文件。 “ERROR”:转移
ORT_COLUMNS中的sourcecolumns之前。 如果SORT_COLUMNS需要包含任意的sourcecolumns,那么需要保证handler列出现在sourcecolumns之前,这样handler列才能在排序中生效。 GeoSOT编码: CREATE TABLE
ORT_COLUMNS中的sourcecolumns之前。 如果SORT_COLUMNS需要包含任意的sourcecolumns,那么需要保证handler列出现在sourcecolumns之前,这样handler列才能在排序中生效。 GeoSOT编码: CREATE TABLE
持HBase表普通写数据与Bulkload批量写数据场景下的容灾。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨
手动将CSV离线数据导入至IoTDB 应用场景 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统,采用轻量式架构,具有高性能和丰富的功能。 IoTDB支持以下方式批量导入或导出数据: 批量导入数据:通过import-csv.sh离线方式进行数据的导入。