检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何解决HANA集群只有部分节点和CDM集群网络互通? 问题描述 HANA集群只有部分节点和CDM集群网络互通,怎么办? 解决方案 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Rout
获取方法请参见实例ID和工作空间ID。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 dw_name String 数据连接名称。 dw_type String 数据连接类型。 dw_config Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。
库需要开启归档日志,归档日志建议至少保留三天,开通归档日志详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 Oracle 需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 整库场景 源端配置。 添加数据源,选择需要迁移的Oracle表。
Hive SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? 可能原因 Hive SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因,可能是由于连接方式导致的。 解决方案 请确认当前Hive SQL和Spark SQL脚本使用的数据连接为“MRS
配置目标端参数 源库表和目标匹配策略: 目标端库名:自定义目标端库名。 表匹配策略:默认为与源端逻辑表同名,不可更改。 写入模式:选择数据写入模式。 UPSERT为批量更新入库模式,COPY为DWS专有的高性能批量入库模式。 批写最大数据量:根据表数据大小和作业内存使用,适当调整,数据范围1-10000000。
Flink完整内置函数可参考:官网介绍。 可以自定义字段名(如custom_defined_col)、选择字段类型、填写字段值。 用户可同时添加多个字段。 父主题: 配置源端和目标端参数
DDL支持新增列。 Hudi目的端配置。 支持配置源端与目的端库名与表名映射的规则,方便用户对Hudi库名表名做重命名。 同时迁移Hudi表到HDFS和OBS。 支持对Hudi的自动建表。 支持用户为Hudi表添加简单的附加字段。 支持用户配置Hudi表的分区信息,包括定义“无分区”“时间分区”“自定义分区”Hudi表。
逻辑表预览 目标端配置。 源库表和目标匹配策略: 目标端库名:自定义目标端库名。 表匹配策略:默认为与源端逻辑表同名,不可更改。 写入模式:选择数据写入模式。 UPSERT为批量更新入库模式,COPY为DWS专有的高性能批量入库模式。 批写最大数据量:根据表数据大小和作业内存使用,适当调整,数据范围1-10000000。
库需要开启归档日志,归档日志建议至少保留三天,开通归档日志详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 Oracle 需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 整库场景 源端配置。 添加数据源,选择需要迁移的Oracle表。
按表的主键值hash值投递到不同的Partition。 需要同步的数据库操作:支持同步的数据库操作为DDL和DML。 投递到Kafka的数据格式:投递到Kafka的数据格式有Debezium JSON和Canal JSON。 源表与目标表映射:支持用户根据实际需求修改映射后的目的端topic名
审核人管理”页面,新建审核人。 安全认证 创建API时,有如下三种安全认证方式可选。三种方式的区别在于认证方式和调用方法不同,推荐使用安全性更高的APP认证。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。
lidation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token
nections 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token
data_connection_id 是 String 数据连接id,可通过数据连接列表中获取。 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token
源表与目标表映射:支持用户根据实际需求修改映射后的目的端topic名称,可以配置为一对一、多对一的映射关系。 图3 配置源表与目标表映射 父主题: 配置源端和目标端参数
添加数据源,选择需要迁移的SQLServer表。 图1 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 源库表和目标匹配策略: 库匹配策略:配置目标数据库的匹配策略,使数据按照规划迁移至目标库。 用户需要提前创建对应数据库,否则可能导致后续自动建表失败。
已了解简单模式与企业模式工作空间的区别,包括不同工作空间的开发流程等差异,详情请参见简单模式与企业模式介绍。 已配置空间级的身份调度,包含公共委托和公共IAM账号,详情请参见配置公共委托和配置公共IAM账号。 已准备好两套相互隔离的数据湖引擎,用于隔离开发和生产环境。 配置两套数据湖服务,进行开发与生产环境隔离。
Studio以您的身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。 前提条件 已申请VPC、子网和安全组,您也可以在购买DataArts Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台
Studio以您的身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。 前提条件 已申请VPC、子网和安全组,您也可以在购买DataArts Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台
后续的脚本和作业开发提供数据实体。通过数据管理,您可以: 支持管理DWS、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。