检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 脚本开发”。 在脚本目录中,双击脚本名称,进入脚本开发页面。 在编辑器上方,配置如表1所示的属性。 表1 Shell脚本属性 参数 说明 主机连接 选择执行Shell脚本的主机。 单击右侧的“输入参数”,可以输入执行Shell脚本的参数和交互式参数。 表2 Shell脚本参数
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 图1 脚本运行结果 解决方案
表3 参数说明 参数名 是否必选 参数类型 说明 params 否 Object 脚本参数Map<String,String>。如果脚本中定义了参数,通过params携带参数值。 脚本参数指的是脚本内容里的参数,如下所示: 响应参数 表4 参数说明 参数名 是否必选 参数类型 说明 instanceId
单击“Shell语句”参数下的文本框,在“Shell语句”页面输入需要执行的Shell语句。 Shell脚本 在“脚本路径”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发Shell脚本先创建和开发脚本。 说明: 若选择Shell语句方式,数据开发模块将无法解析您输入Shell语句中携带的参数。
长度小于等于128个字符。 责任人 否 为该脚本指定责任人。默认为创建脚本的人为责任人。 描述 否 脚本的描述信息。 选择目录 是 选择脚本所属的目录,默认为根目录。 如果脚本未保存,重新打开脚本时,可以从本地缓存中恢复脚本内容。 脚本保存后,在右侧的版本里面,会自动生成一个保存
配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时,源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语
DAY)}' Date类型值是否保留一位精度 Date类型值是否保留一位精度。 否 按表分区抽取 从MySQL导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图db
approverName 是 String 审批人名称。 响应参数 无 请求示例 创建一个脚本名称为echoTimeShell的脚本,脚本类型为Shell,脚本内容为echo a,脚本关联的连接名称为con。 POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/scripts
选择目录 选择该脚本目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。 新建脚本 在脚本目录中,右键单击目录名称,选择新建相应的脚本。 进入脚本开发页面,具体操作请参见开发SQL脚本、开发Shell脚本、开发Python脚本。 当前最多支持创建5个同类型的临时脚本。当关闭了
hon脚本时,参数会向脚本传递。参数之间使用空格分隔,例如:a b c。此处的“参数”需要在Python脚本中引用,否则配置无效。 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”,可设置脚本的责任人和描述信息。 脚本内容大小不能超过16MB。 企业模式下,支持从脚本开发界面
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 移动脚本或脚本目录。 方式一:通过右键的“移动”功能。 在脚本目录中选择需要移动的脚本或脚本文件夹,右键单击脚本或脚本文件夹名称,选择“移动”。 图1 移动 在弹出的“移动脚本”或“移动目录”页面,配置如表1所示的参数。 图2 移动脚本 图3 移动目录
Script参数说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称,只能包含五种字符:英文字母、数字、中文、中划线和点号,且长度小于等于128个字符。脚本名称不能重复。 id 是 String 脚本ID。 type 是 String 脚本类型,包含: FlinkSQL
Shell/Python节点执行失败,后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了,实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
删除脚本 当您不需要使用某个脚本时,可以参考如下操作删除该脚本。 删除脚本时会检查脚本被哪个作业引用,引用列表中显示“版本”,表示此脚本被哪些作业版本引用。单击删除时,会删除对应的作业和这个作业的所有版本信息。 如果某一个待删除的脚本正在被作业关联,请确保强制删除脚本后,不影响业
修改脚本内容 功能介绍 本接口用以修改脚本的配置项或者脚本内容。 修改脚本时,需要指定待修改的脚本名称。 脚本名称和脚本类型不支持修改。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/scripts/{script_name}
策略进行配置。 脚本开发的使用流程如下: 图1 脚本开发流程 新建脚本:新建相应类型的脚本。具体请参见新建脚本。 开发脚本:基于新建的脚本,进行脚本的在线开发、调试和执行。具体请参见开发脚本。 提交版本并解锁:脚本开发完成后,您需要提交版本并解锁,提交版本并解锁后才能正式地被作业
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时,Agent会访问ECS主机,如果Shell、Python脚本的调度频率很高,ECS
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的