检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图3 查看作业 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血
图3 查看作业 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血
TRUNCATE:删除标准数据。 INSERT_OVERWRITE:新增数据插入,同主键数据覆盖。 说明: 当源端为Kafka时,如果DLI导入前清空数据,则不支持INSERT_OVERWRITE。 TRUNCATE 分区 “导入前清空数据”设置为“是”时,呈现此参数。 填写分区信息后,表示清空该分区的数据。
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或limit的整数倍,不满足则向下取整。 limit 否 Integer 查询条数限制。 name 否 String 根据API名称模糊查询。
例:request.addHeader("param"," xxx"); body参数 请求体参数,SDK中输入内容为json字符串(老版本不支持)。 "{}" 修改SDK,在请求签名后,获取请求头中的签名参数Authorization。并新增参数x-Authorization,值与
Administrator用户或者数据安全管理员可以开启或关闭数据开发动态水印功能,至少为工作空间管理员角色才可以创建动态水印策略,其他普通用户无权限操作。 当前动态水印策略仅支持MRS Hive和MRS Spark数据源。 新增、删除或修改动态水印策略后,需要约5分钟后才能生效。 仅当转储或下载数据量大于500行时
在弹出框中,选择审核人,单击“确认提交”,提交审核。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 可以参照步骤3~步骤5,完成其他业务指标的创建和发布。
ter”,为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库(下载地址:https://repo.maven.apache.org/maven2/org/apache/spark/spark-examples_2.10/1
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
功能配置”页面中勾选了“模型设计业务流程步骤 > 创建数据开发作业”(默认不勾选),发布表时,系统支持根据表的映射信息,在数据开发中自动创建一个ETL作业,每一个映射会生成一个ETL节点,作业名称以“数据库名称_表编码”开头。当前该功能处于内测阶段,仅支持DLI->DLI和DLI->DWS两种映射的作业创建。 已创建的ETL作业可以进入“数据开发
输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 policy_name 是 String 策略名称:英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含
证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 policy_name 是 String 策略名称:英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含
时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤
时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤
200 表3 响应Body参数 参数 参数类型 描述 id String 策略id。 name String 策略名称。英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符。 datasource_type String 数据源类型 HIVE数据源 DWS数据源 DLI数据源
on"] = opt.headers["Authorization"] 访问API,查看访问结果。如果使用https访问,则将“http.request”改为“https.request”。 1 2 3 4 5 6 7 8 9 10 11 var req=http
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
述了企业流程的分类、层级以及边界、范围、输入/输出关系等,反映了企业的商业模式及业务特点。 数仓规划:对数仓分层以及数仓建模进行统一管理。支持用户自定义数仓分层。 标准设计:新建码表&数据标准。 新建码表:通常只包括一系列允许的值和附加文本描述,与数据标准关联用于生成值域校验质量监控。
开发环境的数据湖服务数据一致。 创建企业模式数据连接 对于所有的数据湖引擎,都需要创建数据连接。 对于集群化的数据源,如果使用不同的集群,支持同时创建DataArts Studio与开发环境数据湖、DataArts Studio与生产环境数据湖之间的数据连接。 具体请参见创建DataArts