检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置元数据实时同步的数据库和数据表范围,不填写默认不筛选。 可填写为如下两种形式之一: database_name:筛选数据库名包含“database_name”的数据库 database_name.table_name:筛选数据库名包含“database_name”的数据库,在匹配到的
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts
application/json;charset=UTF-8 Authorization 否 String 使用AK/SK进行认证时该字段必选。 Host 否 String 使用AK/SK进行认证时该字段必选。 表3 Body参数说明 参数名 是否必选 参数类型 说明 key_word 否 String
动态数据脱敏接口 查询动态数据脱敏策略列表 创建数据脱敏策略 查询某个脱敏策略的详细信息 更新动态数据脱敏策略 批量删除动态脱敏策略 父主题: 数据安全API
查询数据分类列表 功能介绍 查询数据分类列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/data-category 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
其他云数据库需要添加Migration资源组VPC网段访问数据库的权限。各厂商云数据库添加白名单的方法不同,请参考各数据库官方文档进行操作。 同时,其他云数据库若配置了安全组,则还需要增加入方向规则,放通Migration资源组VPC网段,使其可以访问数据库监听端口。 各数据源所用端口不尽相同,可参
配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配置Redis目的端参数 配置
配置作业源端参数 配置MySQL源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数
rowCount 否 Long 结果行数。 inputRowCount 否 Long 输入结果的行数。(dli等脚本执行会执行此结果) resultCount 否 Long 结果行数。(dli等脚本执行会执行此结果) duration 否 Float 脚本实例的执行时长,单位是秒。 rawResult
果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 连接属性 否 选择连接属性。 socketTimeout:配置JDBC连接超时时间,单位为毫秒 mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。
查询实例运行状态 功能介绍 此接口可以查询实例运行状态,包括当天、昨天、前天以及近7天的实例状态情况。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/monitor/task-statistics-overview
Hive)和RDS MySQL类型的数据连接,请参考创建DataArts Studio数据连接。 AI识别结果同步前,需要在数据目录组件对数据进行过元数据采集,详见元数据采集任务,否则会导致同步失败。 约束与限制 入湖检测规则检测方式仅支持DWS、DLI、MRS Hive和RDS MySQL类型的数据源。
gineSQL、RDSSQL、ImpalaSQL、PYTHON、SparkPython其中之一时,这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数
启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 可能原因 数据开发用户不具备DWS Database Access权限。 解决方案 为数据开发用户添加DWS Database Access权限后,再次尝试选择数据库。 父主题: 数据安全
Migration作业需要根据DRS的同步位点启动作业,做到数据的续传、不漏数。 请联系DRS运维人员获取到DRS任务同步的安全位点(一个binlog文件名),联系MySQL数据库运维根据安全位点查询出当前DRS已同步binlog的时间戳,根据这个时间戳启动Migration作业。 在启动Migration作业
事务模式不会回滚已经删除的数据。 否 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句,目前仅允许执行一条SQL语句。 merge into loader线程数
事务模式不会回滚已经删除的数据。 否 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句,目前仅允许执行一条SQL语句。 merge into loader线程数
对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),使用两套集群资源,两套环境中的数据库、数据库模式(仅DWS需要)和数据表必须保持同名。 对于Serverless服务(例如DLI),两套队列和两套数据库建议通过名称和后缀(开发环境添加后缀“
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]