检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts
limit:1000, time:1 day 域名的请求次数达到了给定的上限:1天1000次。 建议:去API网关,为分组绑定域名。 临时规避:切换分组。域名以分组为单位,每个分组限制独立计算。 DLM.4018 Api is not exist API不存在。 20200630版本前发布的API:
打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 Hive JDBC连接串 否 连接Hive
String API请求协议类型。 枚举值: PROTOCOL_TYPE_HTTP:HTTP协议请求 PROTOCOL_TYPE_HTTPS:HTTPS协议请求 request_type 否 String 请求类型。 枚举值: REQUEST_TYPE_POST:POST请求 RE
throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。 throttlingConfig.dirtyDataDirectory 否 String 写入脏数据的目录:
"image" : null, "links" : [ { "rel" : "self", "href" : "https://10.63.25.93:443/rds/v1.0/datastores/736270b9-27c7-4f03-823b-447d8245e1c2"
当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。 单作业的抽取并发数取值范围为1-300,集群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发数的设置与CDM集群规格有关,并
易用性,无需重复配置。 值得注意的是,hetu权限同步策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 前提条件 MRS Hetu已开启Ranger权限管控,详情请参考HetuEngine权限管理概述。 配置hetu权限同步策略前,已在管
str为密钥对encryptstr字符串进行加密,返回加密后的字符串。 算法注意事项如下: 仅当脱敏任务的目标源为DWS时,此算法才能正确生效。 加密后执行SQL解密时,必须当所有的数据都解密成功时,才能正确返回解密结果,否则解密失败。 支持配置密钥,长度范围为1~16字节。 说明:
提交人名称。 task_type 否 integer 任务类型。 1:作业 2:脚本 3:资源 update_type 否 integer 变更类型,默认值1。 1:新增 2:修改 3:删除 表6 发布包审批信息的参数说明 参数名 是否必选 参数类型 说明 user_id 否 String
如果设置为保持不变,则各节点保持原来的失败策略。 依赖的作业失败后,当前作业处理策略 设置所选作业的依赖作业执行失败后的操作。若作业未配置依赖关系,该配置不生效。 如果设置为保持不变,则当前作业保持原来的失败策略。 责任人 设置所选作业的责任人,只能从当前工作空间中的用户选择。 如果设置为保持不变,则各作业保持原来的责任人。
API分组变量管理 √ √ 高级功能 自定义认证 √ √ 创建应用 50个 1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡 × √ 支持内部API管理 × √ 后端支持对接私有云 × √
选择待执行的CDM作业所属的CDM集群。 此处支持勾选两个CDM集群,用于提升作业可靠性。 勾选两个集群时,集群是随机下发,用于分担系统负荷。当其中一个集群状态异常后,会触发切换到另一个集群运行作业。 勾选两个集群的场景下,“作业类型”不推荐选择“创建新作业”,应设置为“选择已存在的作业”,且确保两个集群下分别存在
String API请求协议类型。 枚举值: PROTOCOL_TYPE_HTTP:HTTP协议请求 PROTOCOL_TYPE_HTTPS:HTTPS协议请求 publish_type String 发布类型(已弃用)。 枚举值: PUBLISH_TYPE_PUBLIC:公开 P
Z”,即“2018-08-08 08:08:08.888 +08:00”。 迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求,可以通过CDM的字段转换功能转换为上述格式。 数据接入服务(DIS)和Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。
ter”,为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库(下载地址:https://repo.maven.apache.org/maven2/org/apache/spark/spark-examples_2.10/1
业务ID参数包括作业ID和作业生成的实例ID两种,通过$job_id和$instance_id获取。 使用简易变量集时,需要打开简易变量集的开关,功能才能生效。开关打开的方法请参见配置默认项 > 是否使用简易变量集。 业务日期参数 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天)
在作业开发页面,单击画布右侧“作业基本信息”页签,展开配置页面,配置作业实例超时时间。 实例超时时间:根据实际需要配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。当您参考配置作业失败告警作业设置了异常通知,如果作业实例执行时间超过超时时间,则将触发异常通知,作业不会中断,继续运行。 实例超时是否忽
互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。 实例超时是否忽略等待时间
on"] = opt.headers["Authorization"] 访问API,查看访问结果。如果使用https访问,则将“http.request”改为“https.request”。 1 2 3 4 5 6 7 8 9 10 11 var req=http