检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
toJobConfig.recordMD5Link 否 String 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶。 toJobConfig.recordMD5Bucket 否 String 写入MD5校验结果的OBS桶。
queue_name 否 String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id 是 String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name 是 String 汇总表所在的数据库名。
toJobConfig.database 否 String 写入数据的数据库名称,例如:“default”。 toJobConfig.table 是 String 写入数据的表名。
*数据连接 选择队列所在的数据连接。如需新建数据连接,请参考创建DataArts Studio数据连接。 *集群名称 仅当资源类型为MRS队列时显示,无需填写, 系统自动匹配数据连接对应的集群名称。 *队列名称 选择需要授权的队列名称。
数据源元数据获取 获取数据库列表 获取schemas 获取数据源中的表 获取数据源中表的字段 父主题: 管理中心API
Number参数对应数据库中int、double、long等数值数据类型,String参数对应数据库中char、vachar、text等文本数据类型。 是否必填、允许空值以及默认值。 如果设定为必填,则API在访问时,必须传入指定参数。
源目的统计查询 可对已经配置好的数据库类作业打开预览窗口,预览最多1000条数据内容。可对比源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数,支持重新选择源连接和目的连接。
图9 异常数据输出配置 各参数具体含义如下: 数据库或Schema:表示存储异常数据的数据库或Schema。 表前缀:表示存储异常数据的表的前缀。 表后缀:表示存储异常数据的表的后缀。 配置完成后单击保存配置。
可通过在作业任务配置参数单击中“添加自定义属性”来新增SQLServer同步参数。
查询角色对一组库、表的可配置操作权限信息 功能介绍 查询角色对一组库、表的可配置操作权限信息。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-sets/datasource/role/batch-actions
请求示例 根据请求参数,编辑码表的字段值,包括码表字段的新增。
图9 获取对账作业导出结果 新空间导入数据 请您登录控制台首页,选择并进入新工作空间的“数据质量”模块,然后执行如下操作依次导入规则模板、导入质量作业、导入对账作业。 导入规则模板 在数据质量主界面,单击左侧导航上的“规则模板”,进入规则模板列表。
表1 读取性能实测数据 数据源 数据源规格 版本 单并发抽取速率(行/s) 多并发抽取速率(行/s) 云数据库 MySQL 8U 32G MySQL 5.7 42052 195313(并发度:40) Oracle 8U 16G 19C 18539 18706(并发度:10) MRS
databases Array of strings 数据库名称数组。
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 数据迁移进阶实践
数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 资源队列 否 输入资源队列名称。 脚本参数 否 关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
“取数方式”选择“脚本方式”或“MyBatis方式”: 选择数据源、数据连接、数据库等数据信息。 数据服务仅支持部分数据源,详情请参见DataArts Studio支持的数据源。您需提前在DataArts Studio管理中心中配置好数据源,按照脚本编辑提示要求输入SQL语句。
参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
例如查看数据仓库服务(DWS)、数据湖探索(DLI)或MapReduce服务(MRS Hive)类型的下所包含的数据库中的敏感数据,包括敏感表总数、敏感字段总数、脱敏表数、嵌入水印表数、水印溯源数。
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 关键操作指导