检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
page_no Integer 查询作业记录时,分页数。 page_size Integer 分页查询,每页返回的记录数。默认值:10。 表5 Submission 参数 参数类型 描述 isIncrementing Boolean 作业是否为增量迁移。 job-name String
在数据质量主界面,单击左侧导航上的“规则模板”,进入规则模板列表。 在规则模板列表,单击“导入”。 图10 批量导入规则模板 在弹出的导入窗口中,选择从旧空间导出的规则模板文件,然后选择目录的映射路径,“重名处理策略”默认选择“终止”,最后单击“导入”。 图11 规则模板导入 在导入记录中,可查看导入状态,显示为成功后即成功导入。
明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。
服或技术支持人员。 基础与网络连通配置 IP或域名 是 待连接的数据库的访问地址,可填写为IP或域名,其中公网IP和内网IP地址均支持。 端口 是 待连接的数据库端口。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts
数据源 即数据的来源,本质是讲存储或处理数据的媒介,比如:关系型数据库、数据仓库、数据湖等。每一种数据源不同,其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。 源数据 源数据强调数据状态是“创建”之后的“原始状态”,也就是没有被加工处理的数据。在数据管理的过程中,源数
create_time String 表的创建时间。 table_size Integer 表的大小。 total_count Integer 当前查询条件下表的总记录数。 is_valid Integer 表是否合规。 extra_setting String 表的额外设置。 partitioned
SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通Ma
查询所有集群的企业项目ID 功能介绍 查询当前项目下的所有集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
查询当前空间下分配的队列资源 功能介绍 查询当前空间下分配的队列资源。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission/queue/assigned-source 表1 路径参数 参数 是否必选 参数类型
查询权限集的权限列表 功能介绍 查询权限集的权限列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/{permission_set_id}/permissions 表1 路径参数 参数 是否必选
Integer 分页列表的起始页,默认值为0。取值范围大于等于0。 size 否 Integer 分页返回结果,指定每页最大记录数。默认值:10 start_date 否 Long 查询作业的开始日期 13位时间戳 end_date 否 Long 查询作业的结束日期 13位时间戳 请求参数
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? 问题场景 创建API时,已打开“返回总条数”开关。当API对应的数据表数据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。
查询某个脱敏策略的详细信息 功能介绍 查询某个脱敏策略的详细信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/masking/dynamic/policies/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
迁移行为 选择写入目的端的迁移方式。 新增:将文件记录直接插入指定的集合。 有则替换,无则新增:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录。如果不存在,则添加新记录。 替换:使用指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录。如果没有,则不会添加新记录。
查询作业列表 功能介绍 查询批处理或实时作业列表,每次查询返回的作业数量上限是100。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs?jobType={jobType}&offset
查询未进行静态脱敏任务的表信息 功能介绍 查询未进行静态脱敏任务的表信息 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/masking-result 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 请求示例 查询连接列表。 GET /v1/b384
如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。 本示例涉及的数据表如下所示: trade_log:记录每一笔交易数据。
附录 公共消息头 解析响应消息体中的流 状态码 错误码