检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
页面提示完成用户的创建。 MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Man
适用场景 当您已按照工作空间划分权限,不同空间用户只能操作本空间的作业。但是不同的工作空间之间的作业如果存在依赖关系,可参见本教程操作实现跨空间作业调度。 方案说明 DataArts Studio数据开发模块支持以事件触发的方式运行作业,因此通过DIS或者MRS Kafka作为作业依赖纽带,可以跨空间实现作业调度。
选来查询对应的操作事件。 其中,DataArts Studio的相关事件在“事件来源”中包含如下分类: CDM:数据集成组件的事件。 DLF:数据开发组件的事件。 DLG:管理中心、数据架构、数据质量、数据目录和数据服务组件的事件。 图1 CDM操作事件 在需要查看的事件左侧,单
取到正确的数据(当前节点依赖的上游节点成功运行后,DataArts Studio通过节点运行的状态识别到上游表的最新数据已产生,下游节点再去取数)。避免下游节点取数据时,上游表数据还未正常产出,导致下游节点取数出现问题。 在配置依赖关系时,支持配置同周期的依赖和上一周期的依赖。
SDI贴源层的原始数据表。 历史数据清洗,使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。 将基础数据插入维度表中。 将DWI层的标准出行数据导入DWR层的事实表中。 数据汇总,通过Hive SQL将出租车行程订单事实表中的数据进行汇总统计并写入汇总表。
Table表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无Schema,每条数据的列数不固定,在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列,此时作业执行完后会造成目的端的数据不全。 这个问题,可以通过以下方法解决:
在场景开发完成后,如果您不再使用DataArts Studio及相关服务,请及时进行退订和资源删除,避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。
技术资产数量:该规格指的是数据目录中表和OBS文件的数量。 [4] 数据模型数量:该规格指的是数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量。 版本模式说明 为了实现灵活的资源配置并提供轻量化的数据治理能力,DataArts Studio对的版本模式进行了切换。 对于后续新购买的DataArts S
图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式 在采集任务列表中,找到刚才新建的采集任务,单击其所在行的“启动调度”按钮,启动周期采集任务。 图5 启动调度 在左侧导航树中,单击“任务监控”,查看采集任务是否成功。
请求参数 表2 参数说明 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景:作业定义文件在OBS上的路径,作业定义文件的格式参考导出作业的响应消息。例如obs://myBucket/jobs.zip。 params 否 Map<String,String> 公共作业参数。
Studio不支持在IAM中创建细粒度权限策略。推荐通过DAYU策略+工作空间角色的方式进行权限控制,您可以通过自定义角色进行更精细化的权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU
如果选择“是”,CDM读取HDFS系统上的文件时,会先对待迁移的源目录创建快照(不允许对单个文件创建快照),然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照,CDM作业完成后,快照会被删除。 否 加密方式 “文件格式”选择“二进制格式”时,该参数才显示。 如果源端数据是被加密过的,则CD
端作业配置”的“高级属性”中,配置如下参数。 加密方式:选择“AES-256-GCM”。 数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。
端作业配置”的“高级属性”中,配置如下参数。 加密方式:选择“AES-256-GCM”。 数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。
API_SPECIFIC_TYPE_CONFIGURATION: 配置方式 API_SPECIFIC_TYPE_SCRIPT: 脚本方式 API_SPECIFIC_TYPE_MYBATIS: MyBatis方式 API_SPECIFIC_TYPE_GROOVY: Groovy方式 start_time 否 String
SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
PI,则会产生API网关的调用API费用和流量费用,收费标准请参见APIG价格详情。 在场景开发完成后,如果您不再使用DataArts Studio及相关服务,请及时进行退订和资源删除,避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio
问控制的影响,所选用户组/用户只能删除满足表达式条件的行数据,受影响的操作包括DELETE,DELETE ... RETURNING。 *用户组/用户 指定当前工作空间成员中的用户或用户组。 指定的用户或用户组按照所选的“SQL操作”进行操作时,只能操作满足“表达式”条件的行级数据。
件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来源于EL表达式,通过EL表达式,根据具体的场景选择不同的EL表达式来