检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 在数据开发模块,单击“配置管理 > 配置”,单击“默认项配置”。 “多IF策略”可设置为“逻辑与”或者“逻辑或”。 单击“保存”。 开发作业 在“作业开发”页面,新建一个数据开发作业。 拖动三个DWS SQL
户,不统计用户组成员。 诊断数据安全风险 数据安全诊断当前支持敏感数据保护、数据权限控制和数据源保护三大诊断项,诊断详情如图1所示。 图1 数据安全诊断详情 数据安全风险诊断的操作步骤如下,请您根据需要定期扫描处理,建议至少每月进行一次扫描,以保障数据使用过程的安全可靠。 在DataArts
新建衍生指标并发布 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。 图1 选择数据指标 在数据指标控制台,单击左侧导航树中的“指标开发”,选择“衍生指标”页签进入衍生指标页面。 在左侧的流程目录中选中一个
"max_score" : 1.0 }] 记录节点 记录数据的根节点。该节点对应的数据为JSON数组,CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分隔。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象,例如:
确定 单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击,修改节点输出功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输出功能的参数配置。 查看表详情 单击,查看节点输出血缘关系创建数据表的详细信息。 父主题: 节点参考
集群ID,获取方法请参见查询单个数据连接信息 查询Hive和DWS数据源操作信息时该数值为必填项,当数据源为DLI时无需填写。 datasource_type 是 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name 否 String 数据库名 注意:该
每日执行节点个数超过上限,一般是由于作业调度过于频繁导致的。为您推荐两种处理方式: 一. 购买作业节点调度次数/天增量包用于增加配额,详情请参见购买作业节点调度次数/天增量包。 二. 您可通过如下方式排查哪些作业调度节点次数较高,然后适当调整调度周期或停止调度即可。 在数据开发模块控制台的左侧导航栏,选择
Loop内嵌对象 使用Loop内嵌对象可获取For Each节点数据集中的数据。 属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。 一般定义格式为#{Loop.dataArray[0][0]}、#{Loop
数据治理解决方案概述 数据治理解决方案是以DataArts Studio为核心产品,打造领先的数智融合生产线,面向行业落地水平、场景化解决方案 ,助力企业数字化升级,实现数据驱动精益管理,探索数据价值流通,在水平和行业两个方向构建可复制数据治理解决方案。 数据治理解决方案正在持续
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
的SQL编辑器中执行以下SQL命令: /* 查看表a数据,其他表数据请修改命令后运行 */ SELECT * FROM a; 将查询到的表数据与给源数据表插入数据步骤中的数据进行对比,可以发现数据插入符合预期。 图9 目的表数据 更多案例参考 For Each节点可与其他节点配合
同步数据库名包含“datatest”的数据库中的数据表。 填写为“datatest.table1”,则元数据实时同步将同步如下数据表:数据库名包含“datatest”的数据库,其中表名包含“table_name”的数据表。 基础与网络连通配置 项目ID 否 适用组件勾选数据集成后,呈现此参数。
如果希望在权限配置时能够展示数据连接中数据库、表以及字段等元数据提示信息,则需要在数据目录组件,对数据表成功进行过元数据采集,详见元数据采集任务。 约束与限制 DAYU Administrator、Tenant Administrator、数据安全管理员和父权限集管理员可以创
支持的数据源(2.10.0.300) 数据集成有两种迁移方式,支持的数据源有所不同: 表/文件迁移:适用于数据入湖和数据上云场景下,表或文件级别的数据迁移,请参见表/文件迁移支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型。
数据标准模板接口 查询数据标准模板 创建数据标准模板 修改数据标准模板 删除数据标准模板 初始化数据标准模板 父主题: 数据架构API
数据标准接口 获取数据标准集合 创建数据标准 删除数据标准 修改数据标准 查看数据标准详情 关联属性与数据标准 父主题: 数据架构API
敏感数据保护 隐私数据保护简介 静态脱敏任务 展示层脱敏(高级特性) 动态脱敏任务 数据加密 数据水印 文件水印 动态水印 父主题: 数据安全
数据安全运营 审计数据访问日志 诊断数据安全风险 查看表权限的拥有者(表权限视图)(高级特性) 查看用户的权限(成员权限视图)(高级特性) 父主题: 数据安全
数据源接口 获取数据连接信息 父主题: 数据架构API
SQL属性 DLI数据目录 选择DLI的数据目录。 在DLI默认的数据目录dli。 在DLI所绑定的LakeFormation已创建元数据catalog。 数据库名称 选择数据库。 DLI数据目录如果选择DLI默认的数据目录dli,表示为DLI的数据库和数据表。 DLI数据目录如果选择