检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能配置”页面中勾选了“模型设计业务流程步骤 > 创建数据开发作业”(默认不勾选),发布表时,系统支持根据表的映射信息,在数据开发中自动创建一个ETL作业,每一个映射会生成一个ETL节点,作业名称以“数据库名称_表编码”开头。当前该功能处于内测阶段,仅支持DLI->DLI和DLI->DWS两种映射的作业创建。 已创建的ETL作业可以进入“数据开发
图3 查看作业 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血
图3 查看作业 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血
最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略
TRUNCATE:删除标准数据。 INSERT_OVERWRITE:新增数据插入,同主键数据覆盖。 说明: 当源端为Kafka时,如果DLI导入前清空数据,则不支持INSERT_OVERWRITE。 TRUNCATE 分区 “导入前清空数据”设置为“是”时,呈现此参数。 填写分区信息后,表示清空该分区的数据。
fgac_type 否 String 细粒度认证类型,开启细粒度认证时才生效。"0"表示开发态细粒度认证,支持数据开发细粒度脚本运行、作业测试运行,"1"表示调度态细粒度认证,支持数据开发细粒度脚本运行、作业测试运行、作业执行调度。 响应参数 状态码: 200 表5 响应Body参数
响应Body参数 参数 参数类型 描述 total Integer 集群数量。 scale_down Boolean 是否支持缩容。 scale_out Boolean 是否支持扩容。 instances Array of InstanceOverviewDTO objects 集群概览信息。
例:request.addHeader("param"," xxx"); body参数 请求体参数,SDK中输入内容为json字符串(老版本不支持)。 "{}" 修改SDK,在请求签名后,获取请求头中的签名参数Authorization。并新增参数x-Authorization,值与
Administrator用户或者数据安全管理员可以开启或关闭数据开发动态水印功能,至少为工作空间管理员角色才可以创建动态水印策略,其他普通用户无权限操作。 当前动态水印策略仅支持MRS Hive和MRS Spark数据源。 新增、删除或修改动态水印策略后,需要约5分钟后才能生效。 仅当转储或下载数据量大于500行时
时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤
时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤
功能配置”页面中勾选了“模型设计业务流程步骤 > 创建数据开发作业”(默认不勾选),发布表时,系统支持根据表的映射信息,在数据开发中自动创建一个ETL作业,每一个映射会生成一个ETL节点,作业名称以“数据库名称_表编码”开头。当前该功能处于内测阶段,仅支持DLI->DLI和DLI->DWS两种映射的作业创建。 已创建的ETL作业可以进入“数据开发
输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 policy_name 是 String 策略名称:英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含
证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 policy_name 是 String 策略名称:英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含
时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤
时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤
用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 策略名称。英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符。 datasource_type 是 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源
用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 策略名称。英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符。 datasource_type 是 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源
述了企业流程的分类、层级以及边界、范围、输入/输出关系等,反映了企业的商业模式及业务特点。 数仓规划:对数仓分层以及数仓建模进行统一管理。支持用户自定义数仓分层。 标准设计:新建码表&数据标准。 新建码表:通常只包括一系列允许的值和附加文本描述,与数据标准关联用于生成值域校验质量监控。