检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。 在DataArts Studio中,元数据是数据的描述数据,可以为数据说明其属
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
拥有5~10名全职数据开发人员,有明确的数据标准、数据质量管理、数据规模小于2000张表。 专业版 有完善的数据管理团队和体系,拥有10~30名全职数据开发人员,中大型企业规模。 企业版 大型企业,多分支机构企业。 新版本模式 初级版 建设初期数据湖项目,主要为大数据开发场景的数据ETL任务管理,不涉及数据治理。 专家版
使用场景:需要获取集群列表中第一个集群的cluster Id,然后作为参数传递给后面的节点使用。 关键配置:在第一个Rest Client的“响应消息体解析为传递参数定义”配置中,配置clusterId=clusters[0].clusterId,后续的Rest Client节点就可
使用场景:需要获取集群列表中第一个集群的cluster Id,然后作为参数传递给后面的节点使用。 关键配置:在第一个Rest Client的“响应消息体解析为传递参数定义”配置中,配置clusterId=clusters[0].clusterId,后续的Rest Client节点就可
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 解决方案 添加如下两条命令:
状态码: 200 表3 响应Body参数 参数 参数类型 描述 id Long 作业ID。 name String 作业名称。 description String 作业描述。 category_id Long 所属目录ID level String 告警级别,SUGGEST表示
华为联合亿信华辰提供数据入表全方位助力 作为Gartner认可的数据资产管理标杆厂商、IDC认证的中国数据治理解决方案市场第一厂商,亿信华辰一直走在数据资产化前列。面对数据入表的需求,亿信华辰不仅提供全套数据治理软件,让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需
的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业,目的端作业配置下“自动创表”选择“不存在时创建”,则高级属性下面会出现参数“扩大字符字段长度”,配置该参数为“是”即可,如图2所示。 图2 扩大字符字段长度 父主题: 数据集成
content images state 在CDM的作业管理界面,找到HBase到DWS的作业,选择作业后面的“更多 > 编辑作业JSON”。 在CDM界面编辑作业的JSON文件。 修改源端的“fromJobConfig.columns”参数,配置为1获取的HBase的字段,列号之间使用“&
API概览 数据集成API概览 数据开发API(V1)概览 数据开发API(V2)概览 管理中心API概览 数据架构API概览 数据质量API概览 数据目录API概览 数据服务API概览 数据安全API概览
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 类型
Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,右键单击目录名称,选择“新建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。
通过关系图,可以查看该原子指标的血缘图。 通过发布历史,可以查看该原子指标的发布历史和不同发布版本之间的差异对比。 管理原子指标 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“原子指标”页签,进入原子指标页面。 图2 管理原子指标 您可以根据实际需要选择如下操作。 表2 操作 当需要... 则... 新建
"biz_info" : null, "create_by" : "test_uesr", "remark" : "SKIP | 用户跳过", "total" : 0, "success" : 0, "failed"
节点概述 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点,您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式,EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接:按顺序逐个执行节点,当A节点执行完成后,再执行B节点。
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型
环境变量、作业参数、脚本参数有什么区别和联系? 打不开作业日志,返回404报错? 配置委托时获取委托列表失败如何处理? 数据开发创建数据连接,为什么选不到指定的周边资源? 配置了SMN通知,却收不到作业失败告警通知? 作业配置了周期调度,但是实例监控没有作业运行调度记录? Hive SQL和Spark
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted