检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父权限集id。 cluster_id 是 String 集群id。 datasource_type 是 String 数据源类型, HIVE database_names 是 Array of strings 目前批量授权只支持单库下的多表授权,或同一集群下个多库授权,区分这两类可通过 传参中tables是否为空来判断。
MRS Hudi数据连接参数说明 表1 MRS Hudi连接 参数 是否必选 说明 数据连接类型 是 MRS Hudi连接固定选择为MapReduce服务(MRS Hudi)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp
偏移量,表示从此偏移量开始查询,该值大于等于0。 name 否 String 动态脱敏策略名称。 cluster_name 否 String 集群名称。 database_name 否 String 数据库名称。 table_name 否 String 表名称。 order_by 否 String 排序参数,UPDATE_TIME。
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
用户流量限制(次/min) 获取数据库列表 获取数据库列表。 12000 60 获取schemas 获取schemas,目前只有DWS和采用postgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表 获取数据源中的表。
访问日志,仅API方可见)。 CDM中代理异常,错误原因详见返回的DLG错误信息。 调用超时,若为DWS数据库,建议API采用自定义分页。 调用超时,请优化查询语句,确保数据库中能短时间内完成执行。 DLM.4211 Token invalid token校验不通过。 确认token是否正确。
以更好地管理和分组计量自己的数据。 定义识别规则 定义敏感数据识别标准。 定义识别规则组 通过定义敏感数据识别规则及规则组,来有效识别数据库内的敏感数据。 敏感数据发现 创建并运行敏感数据识别任务。 敏感数据分布 查看敏感数据识别任务识别出的敏感数据。 父主题: 敏感数据治理
"Total Rows" : "4", "Status" : "false", "Name" : "1_database.dqc_test2" } ] }, { "sub_rule_id" : "1012386182631510017"
企业模式下,支持从脚本开发界面快速前往发布。鼠标放置在上,单击“前往发布”,进入待发布任务界面。 支持Hive SQL、DLI SQL、DWS SQL、RDS SQL和Impala SQL脚本可以查看右侧的数据表,单击表名前面的单选框,可以查看该数据的列名、字段类型和描述。 支持通过“责任人”和
见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts
Studio数据连接参数。 数据库 选择数据库。 队列 仅限DLI连接类型,需选择DLI队列。 Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 更新已有表 在导入时,如果所要导入的表在关系模型中已存在,是否更新已有的表。在导入时,系统将按表编码进行判断将要导
见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts
IDC数据库的公网IP(例如14.x.x.x/32),下一跳跳至上面配置的NAT网关。 图12 路由表添加路由 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单的方
指定资源组的下拉框,查看该资源组的VPC网段。 图3 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。
0以下时,才支持用户同步。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 DWS数据源用户同步前,要求用户已至少配置DWS Database Access权限,否则会同步失败。 IAM用户同步到DWS,需要为dlg_agency委托配置如下权限,详见授权dlg_agency委托:
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 符合条件的APP总数。 records Array of RecordForGetAuthApp objects 本次返回的APP列表。 表5 RecordForGetAuthApp
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 应用已绑定的API总个数。 records Array of AppBindApiInfo objects 应用已绑定的API列表。 表5 AppBindApiInfo 参数 参数类型
连接时,请选择一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 域名 是 表示通过内部网络访问集群数据库的访问地址,可填写域名。内网访问域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址: 根据注册的账号登录DWS云服务管理控制台。
日志”来查看该作业最近的一次日志。 查看作业JSON 直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口,预览最多1000条数据内容。可对比源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数