检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输出字段名:配置输出字段名。 对齐类型:配置清除方式(前空格、后空格、前后空格)。 map 是 无 数据处理规则 清空值两边的空格,支持只清除左边、只清除右边和同时清除左右空格。 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。
etuEngine Geospatial功能要求或更准确地说是假设要操作的几何图形既简单又有效。例如,计算在多边形外部定义了孔的多边形的面积,或者从非简单边界线构造多边形是没有意义的。 HetuEngine地理空间功能支持空间对象的已知文本(WKT)和已知二进制(WKB)形式: POINT
群ID”和“虚拟私有云”名称。 登录ECS管理控制台,在搜索栏选择“名称”输入MRS集群ID,搜索MRS集群的所有节点。 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。
5版本为例,讲解如何使用DBeaver访问MRS 3.1.0未开启Kerberos认证的集群,且该集群的HBase服务未开启Ranger鉴权。 方案架构 HBase以表的形式存储数据,数据模型如图 HBase数据模型所示。表中的数据划分为多个Region,并由Master分配给对应的RegionServer进行管理。
所有消费者。如上图中,Topic1中的消息,同时会广播到Consumer Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍,请参见:https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性
空间数据包括多维点、线、矩形、立方体、多边形和其他几何对象。空间数据对象占据空间的某一区域,称为空间范围,通过其位置和边界描述。空间数据可以是点数据,也可以是区域数据。 点数据:一个点具有一个空间范围,仅通过其位置描述。它不占用空间,没有相关的边界。点数据由二维空间中的点的集合组成。点可以存储为一对经纬度。
anager界面修改了组件服务端配置,开发人员需要更新客户端配置文件的场景。 完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。 LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64:可以部署在X86平台的客户端软件包。
空间数据包括多维点、线、矩形、立方体、多边形和其他几何对象。空间数据对象占据空间的某一区域,称为空间范围,通过其位置和边界描述。空间数据可以是点数据,也可以是区域数据。 点数据:一个点具有一个空间范围,仅通过其位置描述。它不占用空间,没有相关的边界。点数据由二维空间中的点的集合组成。点可以存储为一对经纬度。
算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以使用宏定义,具体请参考配置项中使用宏定义。 test
xxxx 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息,暂只支持选择“表方式”。 表2 输入设置参数 参数名 说明 示例 架构名称 用户指定数据库的模式名。 public 表名 表名称。 test 表列名 指定要输入的列名。 id,name 是否指定分区列 暂只支持不指定分区模式。
证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 图1 Kerberos原理架构 表1 Kerberos模块说明 模块 说明 Application Client 应用客户端,通常是需要提交任务(或者作业)的应用程序。
在HSConsole页面重启计算实例。 HetuEngine基于MetaStore权限管控 约束:只适用于Hive类型数据源。 HetuEngine多个集群组网进行协同计算时,元数据由管理集群集中管理,计算在所有集群进行,访问HetuEngine集群用户的权限需要在管理集群进行配置,并在所有计算实例添加拥有Hive用户组权限的同名用户。
算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。
算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。
xxxx 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息,暂只支持选择“表方式”。 表2 输入设置参数 参数名 说明 示例 架构名称 用户指定数据库的模式名 public 表名 表名称 test 表列名 指定要输入的列名 id,name 是否指定分区列 暂只支持不指定分区模式
HDFS数据至OBS流程如下: 步骤1:创建CDM集群并绑定EIP 步骤2:创建MRS HDFS连接 步骤3:创建OBS连接 步骤4:创建迁移作业 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。
算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以使用宏定义,具体请参考配置项中使用宏定义。 test
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题: 数据迁移
Balancer端口号中的“非加密端口”。 说明: 该参数仅适用于MRS 3.1.5及之后版本。 ClickHouse提供了基于Loadbalance部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。客户端应用请求集群时,使用基于Nginx的Cl
Balancer端口号中的“非加密端口”。 说明: 该参数仅适用于MRS 3.1.5及之后版本。 ClickHouse提供了基于Loadbalance部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。客户端应用请求集群时,使用基于Nginx的Cl