检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
从数据运营方案(数据中台)的数据集成、数据治理以及数据开放三层结构来看,DataArts Studio和ROMA主要差别在于数据治理方面: ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts Studio支持对接入数据进行结构分析,重新建模,最终打破数据孤岛,帮助企业建立统一数据模型。
为什么执行完HIVE任务什么结果都不显示? 可能原因 执行完HIVE任务结果不显示,可能是由于连接方式引起的。 解决方案 清理缓存数据,采用直连方式,数据就可以显示出来了。 父主题: 数据开发
物理模型、维度模型、数据集市,都是模型,在数仓规划进行统一管理。 数仓规划支持细粒度权限管控,在数据安全模块对数据架构模型目录权限管控策略进行配置。 新建数仓分层 数仓分层支持用户根据实际业务场景进行自定义。具体操作如下: 进入数据架构主页面。 在数据架构控制台,单击左侧导航树中的“模型设计
包括结构化、半结构化和非结构化数据。 数据处理工具,则分为两大类: 第一类工具,聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。 第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值:
g转bigint,bigint转int。 解决方案 根据报错信息找到哪个字段映射有问题,找DBA修改表结构。 如果只有极少数据有问题,可以配置脏数据策略解决。 父主题: 数据集成(CDM作业)
操作名称 资源类型 事件名称 创建集群 cluster createCluster 删除集群 cluster deleteCluster 修改集群配置 cluster modifyCluster 开机 cluster startCluster 重启 cluster restartCluster
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,
t_model_name。 2、target_model_id与dw_type不对应时,会找不到模型,提示:模型不存在。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/design/workspaces/{model_id}/transform
2024年1月1日起,财政部于2023年8月印发的《企业数据资源相关会计处理暂行规定》将正式实施。数据资产入表已进入倒计时,备受关注的数据要素市场有望被真正激活。 什么是数据资产入表 所谓“数据资产入表”,是指数据资产入资产负债表,将数据确认为企业资产负债表中“资产”一项,在财务报表中体现其真实价值与业务贡献。
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值:
全量导出 单击“全量导出”,进入到“导出全量数据”页面,单击“确认”。导出完成后,请到下载中心查看导出的内容。 如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。 导出的作业实例与
名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,
在脚本目录中选择需要重命名的脚本,右键单击脚本名称,选择“重命名”。 图2 重命名 已经打开了的脚本文件不支持重命名。 在弹出的“重命名脚本名称”页面,配置新脚本名称。 图3 重命名脚本名称 单击“确定”,重命名脚本。 父主题: (可选)管理脚本
数据开发,包含创建DLI SQL脚本和开发作业。 分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的数据分析结果。 服务退订,如果不再使用DataArts Studio相关服务,请及时进行退订和资源删除。
在脚本目录中选择需要移动的脚本或脚本文件夹,右键单击脚本或脚本文件夹名称,选择“移动”。 图1 移动 在弹出的“移动脚本”或“移动目录”页面,配置如表1所示的参数。 图2 移动脚本 图3 移动目录 表1 移动脚本/移动目录参数 参数 说明 选择目录 选择脚本或脚本目录要移动到的目录,父级目录默认为根目录。
值为空。 configuration 否 map <String,Object> 用户定义适用于此作业的配置参数,当type参数值为DLISQL时,才支持此参数。当前支持的配置项列表请参考 conf参数说明。默认值为空。 description 否 String 描述,长度不能超过255个字符。