检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据安全简介(待下线) 在已上线数据安全组件的区域,数据目录中的数据安全功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。
作业,并定期调度。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个数据开发批处理作业,作业名称可以命名为“import_ges”。 图2 新建作业 在作业开发页面,拖动1个Dummy节点、8个CDM Job节点、和2个Import
Episode V - The Empire Strikes Back,1980,Action;Adventure;Drama;Sci-Fi;War Face/Off,1997,Action;Sci-Fi;Thriller Total Recall,1990,Action;Adventure;Sci-Fi;Thriller
参数类型 描述 dw_name String 数据连接名称。 dw_type String 数据连接类型。 dw_config Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id String CDM集群ID,获取方法请参见查询集群列表。 agent_name
敏感数据治理 敏感数据治理流程 定义数据密级 定义数据分类 定义识别规则(部分高级特性) 定义识别规则分组 配置数据入湖检测规则(高级特性) 发现敏感数据 配置推荐识别(高级特性) 检测文件敏感数据(高级特性) 查看敏感数据分布 管控敏感数据 父主题: 数据安全
编排和作业调度功能。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个DLF批处理作业,作业名称为“topmovie”。 图7 新建作业 图8 配置作业 在作业开发页面,拖动2个CDM Job节点、3个Dummy节点和2个DWS
录下有子目录时,是否查询子目录的内容;默认不查询) dli.sql.dynamicPartitionOverwrite.enabled(在动态分区模式时,只会重写查询中的数据涉及的分区,未涉及的分区不删除) 队列名称 是 默认选择SQL脚本中设置的DLI队列,支持修改。 如需新建资源队列,请参考以下方法:
FROM A WHERE DATE = ${DATE}) 图1 开发脚本 脚本编写完成后,保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时,您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 图2 节点参数 如果
新建数据分类(待下线) 本章主要介绍如何创建数据分类规则。 在已上线数据安全组件的区域,数据目录中的数据安全功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-
排和作业调度功能。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个数据开发批处理作业,作业名称为“BI_analysis”。 图7 新建作业 图8 配置作业 然后进入到作业开发页面,拖动两个Dummy节点和两个DLI
资源繁忙:如果执行作业时,DLI资源队列繁忙时,会遇到作业执行时间过长或无法执行的情况,从而发出告警,则发送通知。 说明: 实时作业只支持状态为运行异常/失败时发送通知,批处理作业在状态为运行成功和运行异常/失败时都能发送通知。 通常使用默认资源队列时,由于DLI的资源队列繁忙,用户间可能会出现抢占资源的情况,不
FROM A WHERE DATE = ${DATE}) 图1 开发脚本 脚本编写完成后,保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时,您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 图2 节点参数 如果
、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id 否 String CDM集群ID,获取方法请参见查询集群列表。 agent_name
、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id 否 String CDM集群ID,获取方法请参见查询集群列表。 agent_name
、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id 否 String CDM集群ID,获取方法请参见查询集群列表。 agent_name
导入预置分类 功能介绍 导入预置分类。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-category/import-builtin-category 表1 路径参数 参数 是否必选 参数类型 描述 project_id
/天增量包,以避免作业调度和运行并发数受限。 说明: 当作业节点调度的已使用次数+运行中次数+本日将运行次数之和大于此版本规格,执行调度批处理作业或者启动实时作业时就会提示作业节点调度次数/天超过配额。 包年包月 技术资产数量增量包 技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts
数据安全总览页面 数据安全总览页面为您提供了配置数据安全管理员功能和数据安全的空间汇总信息,包括查看敏感表总数、敏感表密级分布饼图、敏感字段密级分布饼图、脱敏和水印任务数量趋势图。 配置安全管理员 安全管理员由具有DAYU Administrator系统角色权限的账号指定,在DataArts
eter},支持if、choose、when、foreach和where等标签语法,您可以借助标签语法来灵活实现空值校验、多值遍历、动态查表、动态排序及聚合等复杂查询逻辑。 MyBatis方式当前在“华南-广州”区域公测,公测结束后会陆续在其他区域上线。 前提条件 已在“管理中心
区间范围内的数据时,where条件可设置为如下内容: and age > 18 and age <= 60 where条件还支持输入为SQL动态表达式,例如当需要根据“time”字段筛选数据表中24小时前的数据时,where条件可设置为如下内容: and time >= (date_trunc('hour'