检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图12 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
注册账号并实名认证 账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。
请检查“管理中心 > 数据连接”,数据连接是否配置正确,“IP或域名”是否填写的内网IP,绑定Agent是否状态正常。 请检查“DataArts Studio控制台实例 > 资源管理 > 实时网络连接管理”, 查看是否创建了数据源相关VPC和子网的网络连接,并且该网络连接是否成功绑定资源组。 请检查数据源实例安全组入方向规则,
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
单击配置需要转换的源端数据和目的端数据。 当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时,支持的目的端数据类型为CloudTable(仅华北-北京一支持)、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时,支持的目的端数据类型为MySQL。
path参数 路径参数,作为url的一部分,直接替换url中{}标识的参数。 参数:param = xxx 原url:http://域名/p1/{param}/p2 实际url:http://域名/p1/xxx/p2 query参数 查询参数,作为url的补充部分。 参数:param =
常数据将按照配置的参数存储到规定的库中。 输入数据库或Schema信息,表示存储异常数据的数据库或Schema。 设置异常表的表前缀和表后缀,表示存储异常数据的表前缀和后缀。 异常表的前后和后缀只能包含英文字母、数字和下划线。 配置好以后,单击保存异常数据配置信息。 系统支持配置
入口API访问路径即API工作流访问路径,例如:/getUserInfo。 请求Path即完整的URL中,域名之后、查询参数之前的部分,如图1中的“/blogs/xxxx”。 图1 统一资源定位符URL说明 在请求Path中,可以使用大括号{}标识路径中的参数作为通配符。如“/blogs/{blog_id}”表示/
在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”,查看调度较多的作业设置的调度周期是否合理。如果调度周期不合理,建议适当调整这些调度周期或停止调度。一般每日执行节点个数超过上限都是由于分钟级别的作业导致的。 图1 查看调度周期 父主题: 咨询与计费
请确认调用时参数x-api-id的值,是否正确(该值为所访问API的ID,请向此API的提供者获取) 20200630版本后发布的API: 确认请求的url和实际url是否相同。 若为专享版刚发布的API,请稍作等待,API下发至集群存在短暂的延时。 其他(数据同步异常): 停用/下线对应API,然后恢复/发布。
Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。
t95为前一个节点的名称。 子作业参数:子作业参数是子作业中定义的参数名,然后在主作业中定义的参数值,传递到子作业以供使用。此处子作业参数名定义为name和score,其值为分别为数据集中的第一列和第二列数值,使用EL表达式#{Loop.current[0]}和#{Loop.current[1]}。
数据架构 码表和数据标准有什么关系? 关系建模和维度建模的区别? 数据架构支持哪些数据建模方法? 规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理? 当公
t95为前一个节点的名称。 子作业参数:子作业参数是子作业中定义的参数名,然后在主作业中定义的参数值,传递到子作业以供使用。此处子作业参数名定义为name和score,其值为分别为数据集中的第一列和第二列数值,使用EL表达式#{Loop.current[0]}和#{Loop.current[1]}。
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。
DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? 问题描述 DataArts Studio执行调度时报错:作业中节点XXX关联的脚本没有提交的版本。 原因分析 该作业内的脚本还没有提交版本,就开始执行调度,导致执行调度报错。作业调度前必须保证作业内脚本都存在一个版本。
数据开发的并行执行节点数是多少? DataArts Studio的并行执行节点数与作业节点调度次数/天配额有关,对应关系如下表所示。 其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。
件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来源于EL表达式,通过EL表达式,根据具体的场景选择不同的EL表达式来
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。