检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”,默认展示系统自定义的规则。数据质量的规则包含6个维度,分别是:完整性、唯一性、及时性、有效性、准确性、一致性。 可选:单击“新建”,可自定义创建规则。 本例使用系统自定义的规则即可。 创建质量作业。
扫描结束后,请您根据安全扫描结果和处理建议,识别风险项并单击“处理风险”进行优化,保障数据使用过程的安全可靠。 另外,中风险及高风险等级的风险问题属于潜在的安全隐患,建议您尽快处理。下图以敏感数据保护为例查看该检查项目前的风险等级及诊断结果。 图3 安全诊断结果 父主题: 数据安全运营
权限集本质上是将用户与权限直接关联。其中的空间权限集为没有父权限集的特殊权限集,限定了整个工作空间可访问的权限范围。在此之下定义的权限集均有其对应的父权限集,权限也为其父权限集的子集。 空间权限集和权限集在配置上都是将用户与权限直接关联,二者使用上的区别在于: 空间权限集是没有父权限集的顶层权限集,一般
yyyy:表示4位的年份,取值为业务日期的年份。 yy:表示2位的年份,取值为业务日期的年份后两位。 mm:表示月份,取值为业务日期的月份。 dd:表示天,取值为业务日期的天。 取N年前、N月前、N天前的时间数据请参考表1,参数只能精确到年月日,不支持小时、分钟、秒的写法。 表1 业务日期参数获取说明
您可以将某个DataArts Studio实例的数据架构中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见导出流程。 下载的流程模板参数如表3所示,其中名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。一个流程需要填写一条记录。 表3 流程导入参数说明
的事实表、数据集市的汇总表的新建、修改、导入表时,会校验是否有前缀,没有的话会校验失败。进行逆向操作时,也会校验是否有前缀。 描述 逻辑模型的描述信息。 更多操作如下。 单击已新建的逻辑模型右侧的“编辑”,可以修改逻辑模型的参数信息。 单击已新建的逻辑模型右侧的“删除”,可以删除
主要包括以下几部分内容: 所选周期内的作业数、实例数、异常表数,以及各种实例运行状态的分布和变化趋势情况。 当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。
自然周期调度作业依赖关系全景图 如何确认当前的周期调度依赖是传统周期调度依赖还是自然周期调度依赖? 自然周期调度在2023年6月开始全网使用。对于在此时间之后创建的租户,其所购买的实例支持自然周期调度;对于在此时间之前创建的租户,其所购买的实例支持传统周期调度。 在配置周期调度时,
导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点
D。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页显示的条目数量。 offset 否 Integer 偏移量,表示从此偏移量开始查询,该值大于等于0。 proposer_name 否 String 申请人名称 approval_id 否
导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点
对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规
数据格式:支持的数据格式。 目前支持JSON、CSV、TEXT格式。 消费组ID:由用户指定,标识当前实时处理集成作业的消费组。 当迁移作业消费DMS Kafka集群某一Topic的消息后,在Kafka集群的“消费组管理”可以看到此处配置的消费组ID、在“消息查询”可以查到消费属性group
导出主题时,可以勾选主题目录树上的主题,如果右侧没有勾选主题名称,单击“导出”按钮,则会按照选中的主题进行递归导出。 管理主题设计 图7 主题设计区域 查找 您可以在主题的搜索框中,输入所需查找的关键字进行查找,在公共空间下可查找所有。 编辑 您可以在主题列表中,选择一个对象,然后单击其名称右侧的按钮进行
整表迁移通过二进制传输数据,表的所有信息都会传递。HBase->HBase整表迁移会传递列的timestamp信息,非整表迁移只传递列的value值。 是 否 列族 导出数据的列族。 例如:CF1&CF2 是 CF1&CF2 高级属性 切分Rowkey 是否将选做Rowkey的数据同时写入HBase的列,默认否。
源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。
支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。
DataArts Studio采用基础包+增量包的计费模式。为了便于您便捷的下单购买,在控制台购买界面中系统会为您计算好所购买的套餐包的价格,您可一键完成整个配置的购买。 计费方式 计费说明 04 使用 指导您快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
明确涉密的范围。 定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据。 定义识别规则 定义敏感数据识别标准。 定义识别规则组 通过定义敏感数据识别规则及规则组,来有效识别数据库内的敏感数据。
件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来源于EL表达式,通过EL表达式,根据具体的场景选择不同的EL表达式来