检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不更新:当码表已存在时,将直接跳过,不更新。 更新:当码表已存在时,更新已有的码表信息。如果码表处于“已发布”状态,码表更新后,您需要重新发布码表,才能使更新后的表生效。 在导入码表时,只有创建或更新操作,不会删除已有的码表。 *上传模板 选择所需导入的码表文件。所需导入的码表文件,可以通过以下两种方式获得。
调用数据开发接口报错“Workspace does not exists”怎么处理? Postman调用接口返回结果正常,为什么测试环境调用接口的URL参数不生效? 执行Python脚本报错:Agent need to be updated? 节点状态为成功,为什么日志显示运行失败? 调用数据开发API报错Unknown
监控中查看执行结果是否符合预期。 由于作业job1未运行即未发送消息,则job_agent作业中的Subjob节点被跳过,证明IF条件判断生效。 图5 Subjob节点被跳过 启动调度job_agent。然后测试运行工作空间A作业job1,待job1实例运行成功后,前往工作空间B
addDays(Date date, int amount) 给date添加指定天数后,返回新Date对象,amount可以是负数。 将作业调度计划减一天的时间,转换为年月日格式。 #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")}
则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如,源端是VARCHAR类型的数据写到INT类型的目标列中,则会因为转换不合理导致脏数据不会成功写入目的端。用户可以在同步任务配置时,配置同步过程中是否写入脏数据,配置脏数据条数(单个分片的最大错误记录数)保证
基础与网络连通配置 连接地址前缀 是 适用组件勾选数据集成时显示该参数。 连接地址前缀,测试以及作业时调用接口,会自动拼接此前缀。https仅支持TLSv1.2协议。 例如: https://xxx.com/prefix。 默认Header参数 是 适用组件勾选数据集成时显示该参数。 默认head
throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。 throttlingConfig.dirtyDataDirectory 否 String 写入脏数据的目录:
当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。 单作业的抽取并发数取值范围为1-300,集群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发数的设置与CDM集群规格有关,并
开发环境下,脚本、作业以当前开发者的身份执行;生产环境下,脚本、作业则使用空间级的公共IAM账号或公共委托执行。 如果需要对生产环境进行变更,必须在开发环境通过开发者的发布操作才能将变更提交到生产环境,需要管理者或部署者审批通过,才能发布成功。 劣势 存在不稳定、不安全的风险。 无法设置开发环境和生产环境隔离,只能进行简单的数据开发。
e、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts
limit:1000, time:1 day 域名的请求次数达到了给定的上限:1天1000次。 建议:去API网关,为分组绑定域名。 临时规避:切换分组。域名以分组为单位,每个分组限制独立计算。 DLM.4018 Api is not exist API不存在。 20200630版本前发布的API:
打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 Hive JDBC连接串 否 连接Hive
易用性,无需重复配置。 值得注意的是,hetu权限同步策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 前提条件 MRS Hetu已开启Ranger权限管控,详情请参考HetuEngine权限管理概述。 配置hetu权限同步策略前,已在管
str为密钥对encryptstr字符串进行加密,返回加密后的字符串。 算法注意事项如下: 仅当脱敏任务的目标源为DWS时,此算法才能正确生效。 加密后执行SQL解密时,必须当所有的数据都解密成功时,才能正确返回解密结果,否则解密失败。 支持配置密钥,长度范围为1~16字节。 说明:
如果设置为保持不变,则各节点保持原来的失败策略。 依赖的作业失败后,当前作业处理策略 设置所选作业的依赖作业执行失败后的操作。若作业未配置依赖关系,该配置不生效。 如果设置为保持不变,则当前作业保持原来的失败策略。 责任人 设置所选作业的责任人,只能从当前工作空间中的用户选择。 如果设置为保持不变,则各作业保持原来的责任人。
提交人名称。 task_type 否 integer 任务类型。 1:作业 2:脚本 3:资源 update_type 否 integer 变更类型,默认值1。 1:新增 2:修改 3:删除 表6 发布包审批信息的参数说明 参数名 是否必选 参数类型 说明 user_id 否 String
选择待执行的CDM作业所属的CDM集群。 此处支持勾选两个CDM集群,用于提升作业可靠性。 勾选两个集群时,集群是随机下发,用于分担系统负荷。当其中一个集群状态异常后,会触发切换到另一个集群运行作业。 勾选两个集群的场景下,“作业类型”不推荐选择“创建新作业”,应设置为“选择已存在的作业”,且确保两个集群下分别存在
在作业开发页面,单击画布右侧“作业基本信息”页签,展开配置页面,配置作业实例超时时间。 实例超时时间:根据实际需要配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。当您参考配置作业失败告警作业设置了异常通知,如果作业实例执行时间超过超时时间,则将触发异常通知,作业不会中断,继续运行。 实例超时是否忽
String API请求协议类型。 枚举值: PROTOCOL_TYPE_HTTP:HTTP协议请求 PROTOCOL_TYPE_HTTPS:HTTPS协议请求 publish_type String 发布类型(已弃用)。 枚举值: PUBLISH_TYPE_PUBLIC:公开 P
Z”,即“2018-08-08 08:08:08.888 +08:00”。 迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求,可以通过CDM的字段转换功能转换为上述格式。 数据接入服务(DIS)和Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。