检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来源于EL表达式,通过EL表达式,根据具体的场景选择不同的EL表达式来达到目的。您可以参考本教程,根据您的实际业务需要,开发您自己的作业。 EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根
管理员作为项目负责人或开发责任人,需要为企业模式的环境配置、人员角色等进行统一管控,相关操作如下表所示。 表1 管理员操作 操作 说明 准备工作 包含数据湖准备以及数据准备与同步。 数据湖准备: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境:
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务共享版,进入总览页。 进入“开发API > API管理”页面,单击“注册现有API”,填写API基本信息。 表1 API基本信息 配置 说明 API名称 支持中
对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts
数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。 配置方法 创建质量作业 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 (可选)选择“数据质量监控 > 质量作业”,新建目录。如果已存在可用的目录,可以不用新建目录。
在数据架构控制台,单击左侧导航树中的“流程设计”,进入流程设计页面。 单击流程列表上方的“导入”按钮导入流程。 在“导入流程”对话框中,根据页面提示配置如下参数,然后先单击“添加文件”后,再单击“上传文件”。 图4 导入流程 表2 导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程,在DataArts
数据分类”,在“分组”页签中,单击“新建”。 系统弹出“新建分组”对话框,填写相关配置,单击“确定”,完成创建分组。 参数设置参考表2,并勾选左侧列表中的分类规则。 用户所勾选的规则将显示在右侧列表中。 表2 参数配置表 配置 说明 名称 规则组名称只能包含中文、英文字母、数字和下划线。 描述 为更好的识别规则组,
敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据安全 > 数据密级”,用户可以在该页面新建、管理和删除分级,也可以调整分级的优先级。
操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 进入“开发API > API管理”页面,在API服务列表操作列中,选择“更多 > 发布”。 在确认发布界面,您可以单击“更多”,选择发布详情。
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“开发API > API管理”页面,进入API管理页面。 勾选待同步的API所在行,在API列表上方,选择“更多 > 同步至共享版”,进入同步界面。
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 操作历史”。 查看操作历史记录相关数据。
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
原因分析 DataArts Studio默认用的python2的解释器,python2默认的编码格式是ASCII编码,因ASCII编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器,在主机上做一个软连接,如下图所示。 图2 主机上做软连接
如果原始数据表存储格式不满足要求,您可以通过CDM将原始数据直接导入到DLI中进行分析,无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于
在项目ID和账号ID下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区
前提条件 已完成开发并调度Import GES作业,且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台,在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图,对导入的图数据进行可视化分析。 本例以图探索功能为例,查看用户William相关的用户与电影情况,如图2所示。
Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 在数据安全控制台左侧的导航树中单击“脱敏算法”,进入脱敏算法页面。 单击“新建”,新建脱敏算法。 图1 新建脱敏算法 新建脱敏算法参数配置请参考表2,参数配置完成单击“确定”即可。 图2 算法配置 脱敏算法参数说明表: 表2
在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 前提条件 开发者已完成脚本任务发布或作业任务发布。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
两张数据表,并配置告警规则,如图9所示。 图9 配置对账规则 源端和目的端的信息需要分别配置。 配置告警条件,其中单击左侧的表行数(${1_1})表示左侧源端选中表的行数,单击右侧表行数(${2_1})表示目的端表行数。此处配置告警条件为${1_1}!=${2_1},表示当左侧表
购买数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。