检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能介绍 查询资源详情,一个资源包含jar、zip、properties等文件,已经创建的资源在DLI Spark、MRS Spark等作业节点中使用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_i
CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建Oracle的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和Oracle网络互通才可以成功创建Oracle连接。 数据源认证及其他功能配置
设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点运行过程中,根据设置的节点状态轮询时间查询节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
查看脚本运行结果。 图4 查看脚本运行结果 在作业中引用Python脚本 创建一个作业。 选择Python节点,并配置节点属性。 选择已创建好的Python脚本,配置相关节点参数。在“参数”里面可以配置脚本参数,例如: 配置的参数是指执行Python语句时,向语句传递的参数,参数
在过滤框中选择“作业”,展示历史7天的作业运行记录。 单击某一条运行记录,可查看当时的作业信息和日志信息。 如果该作业当时只有部分节点执行测试,则运行历史只展示参与测试运行的节点信息和日志信息。 父主题: 数据开发
您需要规划数据开发服务所在的区域信息,并根据区域确定调用API的Endpoint。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建Shell脚本 如下示例是创建shell脚本的配置。
业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 实时处理作业可以配置节点级别的调度任务,即每一个节点可以独立调度,具体请参见配置节点调度任务(实时作业)。
填写ClickHouseServer所在节点IP。 端口 是 默认使用ClickHouseServer的配置参数http_port,用于接收JDBC请求的端口。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 选择CDM集群作为网络代理,必须和Click
基线保障作业名称。 用户可以对已选择的作业名称进行删除并重新添加。 说明: 选择作业名称时,建议选择业务流程最下游的节点任务,选择后,影响该节点数据产出的上游节点都将被纳入基线监控范围,不推荐将业务流程上所有的任务都添加到基线上。 优先级 设置基线的优先级,支持以下优先级: 1 2
Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。 在Flink
Dummy: 空节点作业类型 location 是 Location数据结构 节点在作业画布上的位置,参考表6。 preNodeName 否 List<String> 本节点依赖的前面的节点名称列表。 conditions 否 List<Condition> 节点执行条件,如果配
创建一个批处理作业,作业名称为“job_dws_sql”。 然后进入到作业开发页面,拖动DWS SQL节点到画布中并单击,配置节点的属性。 图2 配置DWS SQL节点属性 关键属性说明: SQL脚本:关联开发DWS SQL脚本中开发完成的DWS SQL脚本“dws_sql”。
创建DLF作业 然后进入到作业开发页面,拖动DLI SQL和CDM Job节点到画布中,连接并配置节点的属性。 图11 连接和配置节点属性 关键说明: dli_partition_count(DLI SQL节点):在节点属性中,关联使用DLI SQL脚本开发构建告警报表脚本中开发完成的DLI
0。 图2 获取实例ID和工作空间ID 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm.{region_id}
在配置作业算子参数时,在添加请求头中时,需要输入参数及参数值,如果该参数的参数值长度超过512个字符时,则不能继续输入,如下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。 在“参数值”里面引入变量名称,例如{para}。 图2 配置请求头参数 配置作业参数。 单击“作业参数配置”,进入“作业参数配置”界面。
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,
是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据源认证及其他功能配置 用户名 是 连接SFTP/FTP的用户名。
数据服务 数据服务SDK支持的语言? 创建API时提示代理调用失败,怎么办? 数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 使用API时,每个子域名每天可以访问多少次? 数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API?
截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数据,可以通过筛选条件选择需要导出的数据。 单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。 单击作业的某个节点,可以查看节点属性、脚本内容、节点监控信息。 同时,您可以查看
例如,对于A(入口API)>B(普通API)>C(条件分支)这3个顺序节点,节点C需要取节点A的请求参数值和节点B的输出值: A节点编码为EntryApi_3909f,入参userId位置为Path。 取A节点请求参数值:${EntryApi_3909f|userId}。 B节点编码为NormalApi_4246f