检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
生产态表示脚本跳过审批环节,创建后可以直接运行。注意:只有工作空间的管理员用户才能创建生产态的脚本。 审批开关的配置请参见审批中心。 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示脚本审批人,参考表4。 审批开关的配置请参见审批中心。 表4 审批人属性说明
采集任务的名称。 实例状态 实例(即采集任务)的状态。 成功 部分成功 执行中 失败 运行异常 暂停:因管理面升级,监控任务暂停,升级完成后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。
DataArts Studio建立于对应工作空间物理属性之上的任务开发与运维机制介绍。 不同模式工作空间的优劣势对比 不同工作空间模式的优劣势对比。 企业模式对使用流程的影响 介绍企业模式工作空间下的流程管控。 不同工作空间模式下,DataArts Studio模块对应操作 简单模式仅有生
选择“审批作业”页签,单击“添加”,进入“从基线添加要审批的作业”界面,选择基线任务的优先级作业,所选基线对应的作业,将被指定为需要审批的作业,单击“确定”。基线任务上游的作业也需要审批。 选择“审批脚本”页签,选择了基线对应的作业,作业关联的脚本会同步显示在该页面。 在“审批人信息”,当前工作空间管理员或者拥有DAYU
权限集本质上是将用户与权限直接关联。其中的空间权限集为没有父权限集的特殊权限集,限定了整个工作空间可访问的权限范围。在此之下定义的权限集均有其对应的父权限集,权限也为其父权限集的子集。 空间权限集和权限集在配置上都是将用户与权限直接关联,二者使用上的区别在于: 空间权限集是没有父权限集的顶层权限集,一般
Web”,单击“Next”。 图2 New Project 单击“...”,在弹出的对话框中选择解压后的SDK路径,单击“Finish”。 图3 选择解压后的SDK路径 完成工程创建后,目录结构如下。 图4 新建工程的目录结构 node_demo.js:Nodejs示例代码,请根据实际情况
Server,简称ECS)进行CDM集群和数据服务集群的创建,另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。 虚拟私有云服务 DataArts Studio使用虚拟私有云服务(Virtual Private Cloud,简称VPC)来创建隔离的网络环境。 弹性公网IP服务
smallint类型的数据占用了两个字节的存储空间,其中一个二进制位表示整数值的正负号,其它15个二进制位表示长度和大小,可以表示-2的15次方~2的15次方-1范围内的所有整数。 SMALLINT SMALLINT NUMBER tinyint tinyint类型的数据占用了一个字节的存储空
MySQL类型的数据连接,请参考创建DataArts Studio数据连接。 AI识别结果同步前,需要在数据目录组件对数据进行过元数据采集,详见元数据采集任务,否则会导致同步失败。 约束与限制 入湖检测规则检测方式仅支持DWS、DLI、MRS Hive和RDS MySQL类型的数据源。
Studio企业模式环境隔离 管理中心的环境隔离,当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后,数据开发时脚本/作业中的开发环境数据连接通过发布流程后,将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前,应已创建DLI的数据连接。 (可选)创建DLI环境隔离
理问题的窗口期。 配置作业节点失败重试及配置作业失败告警:通过配置作业节点失败重试及失败告警,尽量减少在集群压力峰值时的作业无法正常运行的情况,即使发生失败也可以及时通知到运维管理人员解决,减少故障升级情况。 配置作业超时告警:通过配置作业超时告警,可以提前发现作业运行的潜在风险
安全组。 在相同VPC、子网、安全组中的云服务资源(如ECS),可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组,确保网络安全的同时,方便网络配置。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在DataArts Studio作业开发控制台,选择步骤6:数据开发处理中新建的作业,单击数据质量监控节点,然后在该节点的节点属性中,单击“数据质量规则名称”后的按钮,可以跳转到DataArts Studio数据质量控制台的“质量作业”页面。
分别为付款方式、供应商、费率3个码表填写数值。 在“码表管理”页面,找到码表“付款方式”,然后在该码表所在行选择“更多 > 填写数值”。在填写数值页面,依次单击“新建”添加如表3所示的数值。 表3 付款方式码表的数值 付款方式编码 payment_type_id 付款方式值 payment_type_value
置数据目录中元数据的更新方式。 需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”:采集任务仅更新数据目录已经采集到的元数据 勾选“仅添加新元数据”:采集任务仅采集数据源中存在,但是数据目录中不存在的元数据 勾选“更新数
作业开发”。 新建集成作业的方式有如下两种: 方式一:在“作业开发”界面中,单击“新建集成作业”。 图1 新建集成作业(方式一) 方式二:在作业目录中,右键单击目录名称,选择“新建集成作业”。 图2 新建集成作业(方式二) 在弹出的“新建集成作业”页面,配置如表1所示的参数。 表1 作业参数
业时计费的,后续不使用队列不收费;存储收费需要您在DLI服务数据管理中删除相关数据。 SMN SMN计费说明 SMN服务按实际用量付费,退订DataArts Studio服务后不会再产生通知,您也可以直接删除SMN服务已产生的主题和订阅。 父主题: 免费版:基于DLI的电商BI报表数据开发流程
数据源 即数据的来源,本质是讲存储或处理数据的媒介,比如:关系型数据库、数据仓库、数据湖等。每一种数据源不同,其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。 源数据 源数据强调数据状态是“创建”之后的“原始状态”,也就是没有被加工处理的数据。在数据管理的过程中,源数
页面提示完成用户的创建。 MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Man