检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 单击脚本目录中的 > 导入脚本,选择待导入的脚本文件,并配置重名处理策略。 在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 图3 导入脚本 单击“下一步”,根据提示导入脚本。
多种数据源间的数据同步 实时同步支持多种数据源型链路组合,您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种数据库的数据同步。您可以根据数据库所在网络环境,选择合适的同步解决方案来实现数据
只有使用时间字段timestamp、Date来确定增量范围时,才可以选择增量模式 一般而言,全量模式下数据水印嵌入任务使用单次调度,增量模式下使用周期调度。 *指定时间字段 增量模式下,选择时间字段timestamp、Date来确定增量范围。 目标端配置 *数据源类型 目前只支持MapReduce服务(MRS
使用Token认证时该字段必选,用户Token的长度要求如下: 最小长度:0 最大长度:4096 Content-Type 否 String 有Body体的情况下必选,无Body体的情况下则无需填写和校验。 示例:Content-Type: application/json;charset=UTF-8 Authorization
LibrA过程中,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 因此,在单表或整库导入到DWS/FusionInsight Li
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 类型 描述 jobParams 否 List<JobParam>
参数 是否必选 说明 Python语句或脚本 是 可以选择Python语句或Python脚本。 Python语句 单击“Python语句”参数下的文本框,在“Python语句”页面输入需要执行的Python语句,选择Python脚本。 Python脚本 在“Python脚本”参数后选
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-Type是application/octe
2019-07-01 00:00:00 忽略不存在原路径/文件 在迁移过程中发现文件在源路径下不存在的情况下是否报错。如果将其设为是, 那么文件在源路径下不存在的情况下也能成功执行。 否 MD5文件名后缀 “文件格式”选择“二进制格式”时,该参数才显示。 校验CDM抽取的文件,
SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框,在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。
单击“确定”,可以在下载中心查看导入结果。 图4 导出作业 导出环境变量 单击左侧导航上的“配置”,进入环境变量页面。 单击环境变量配置下的“导出”,导出环境变量。 图5 导出环境变量 导出资源 单击左侧导航上的“资源管理”,进入资源管理页面。 单击资源目录中的,选择“显示复选框”。
批量选择待移动的多个作业或作业文件夹,移动到目标文件夹下。 作业移动时,支持将作业移动到翻牌目录下。 移入翻牌目录的作业支持移出。 业务日期模式空间下,移动作业到翻牌目录时,系统会校验偏移量,偏移量一致才能移动成功,如果移动的作业为调度中且与翻牌目录下的作业存在进度偏差,系统会提示进度偏差
API目录”或“开发API > API管理”页面,在API列表操作列中,选择“编辑”。注意,仅当API处于已创建、已驳回、已下线、已停用的情况下才能进行API修改。 在基本配置处,修改“服务目录可见性”参数的取值,可以选择为“当前工作空间可见”、“当前项目可见”或“当前租户可见”。然后保存修改。
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 jobParams 否 List<JobParam>
Integer 查询采集任务数量。 total_records Integer 同一projectId下已创建采集任务数量。 max_records Integer 同一projectId下允许创建采集任务数量。 resources Array of MetadataCollectionTask
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值: #{Job
属性参数 参数 是否必选 说明 Shell或脚本 是 可以选择Shell语句或Shell脚本。 Shell语句 单击“Shell语句”参数下的文本框,在“Shell语句”页面输入需要执行的Shell语句。 Shell脚本 在“脚本路径”参数后选择需要执行的脚本。如果脚本未创建,请
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 类型 描述 retry_location 否