检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败,请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的My
分库分表同步 支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 图5 分库分表同步 基本特性 实时数据集成为大数据开发提供了支撑,具有以下特性: 实时性:支持数据秒级同步。 可靠性:通过异常恢复,自动重试等机制确保数据的一致性和准确性。 多样性: 数据源多
connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。
对于消息而言,消息内容越多,所占带宽越高,每秒事务(TPS)越低。 源端读取速度 取决于源端数据源的性能。 如需优化,请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时,网络带宽是根据不同的CDM实例规格的带宽限制的。
当前支持postgresql和kingbase8两种驱动类名。 - 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。
完成数据Owner分配的各类数据治理工作。 数据架构师(Data Architects):数据架构师是领域数据治理工作在IT层面的代表。 开发和维护本领域的数据系统或子系统,确保数据在系统中得以记录,数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。
色。 对于“DAYU User”权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这五种预置角色可被分配。如果预置角色可以满足您的使用需求,则无需自定义工作空间角色,直接将用户添加到工作空间成员、
创建数据库连接的相关信息:包括用于创建数据库类型数据源所需的数据库IP、端口、用户名、密码和密钥对密码。 创建DIS以及对象存储类型连接的相关信息:包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret Access Key。 数据存储安全 DataArts S
0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Man
由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,
由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,
色。 对于“DAYU User”权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这五种预置角色可被分配。如果预置角色可以满足您的使用需求,则无需自定义工作空间角色,直接将用户添加到工作空间成员、
linkConfig.jdbcProperties 否 Map 连接属性,指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 linkConfig.version 否 枚举 创建Oracle连接时才有该参数,根据您Oracle数据库的版本来选择。 HI
然后结合华为数据治理案例和新冠疫情简单描述了数据治理的应用,最后描述了方法论在DataArts Studio产品上的落地以及详细的落地指导文档。
接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可参考IAM文档获取。 接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。当返回多个id,请依据实际的区域(name)获取。
查看是否创建了数据源相关VPC和子网的网络连接,并且该网络连接是否成功绑定资源组。 请检查数据源实例安全组入方向规则, 确认是否已放通资源组的网段。 请阅读网络打通文档,逐步检查操作,确保都已正确配置。 父主题: 数据集成(实时作业)
参数类型 描述 app_name 否 String 调用审核系统的应用名称,开发人员自己定。 approver_name 是 String 审批人姓名,需要被添加到相应的空间中,并且该用户须是管理员、开发者,或者是有审批权限的角色。 user_id 是 String 审批人ID。
逻辑属性映射:为来源于当前映射的属性,依次选择一个含义相同的源属性。 单击“发布”,选择审核人,再单击“确认提交”提交审核。 企业模式下,进行发布时,可以选择发布到生产环境或开发环境。默认发布到生产环境,不勾选则无法发布。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。
status String 状态 枚举值:DISCOVERED、PROPOSED、IMPORTED、VALIDATED、DEPRECATED、OBSOLETE、OTHER。 create_user String 创建人。 expression String 表达式。 display_text
status 否 String 状态 枚举值:DISCOVERED、PROPOSED、IMPORTED、VALIDATED、DEPRECATED、OBSOLETE、OTHER。 create_user 否 String 创建人。 expression 否 String 表达式。 display_text