检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。
API流量限制(次/min) 用户流量限制(次/min) 获取审批单 获取审批单。 21600 240 撤回审批单 撤回审批单。 10800 120 审批单处理 审批驳回/通过,单个或多个action-id=reject/resolve。 10800 120 批量发布 批量发布。 10800 120
Kafka消息合法,正常消费,但是生成策略或同步Ranger时失败:记录同步失败消息日志,继续消费下一条,最终状态为部分失败或者同步失败。 失败的kafka消息最多存储16M数据。 订阅动态脱敏策略 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左
相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 连接地址前缀 是 适用组件勾选数据集成时显示该参数。
FROM A WHERE DATE = ${DATE}) 图1 开发脚本 脚本编写完成后,保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时,您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 图2 节点参数 如果
月的使用时长,在绑定区域为在DataArts Studio控制台购买的对应资源组使用。 数据集成资源组可用于如下场景: 用于创建并运行实时处理集成作业,提供数据上云和数据入湖的集成能力。 DataArts Studio实例中默认不包含数据集成资源组,如果您需要使用数据实时迁移功能,请创建数据集成资源组增量包。
资源繁忙:如果执行作业时,DLI资源队列繁忙时,会遇到作业执行时间过长或无法执行的情况,从而发出告警,则发送通知。 说明: 实时作业只支持状态为运行异常/失败时发送通知,批处理作业在状态为运行成功和运行异常/失败时都能发送通知。 通常使用默认资源队列时,由于DLI的资源队列繁忙,用户间可能会出现抢占资源的情况,不
FROM A WHERE DATE = ${DATE}) 图1 开发脚本 脚本编写完成后,保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时,您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 图2 节点参数 如果
h" 生成一个新的Signer, 填入AppKey和AppSecret。 1 2 3 4 5 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为
sig_params_t params; sig_params_init(¶ms); // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,右键单击目录名称,选择“新建作业”。 选择作业类型和模式。“作业类型”选择“实时处理”,“模式”选择“单任务-Flink JAR”。其他参数按照实际进行配置即可。 单击“确定”,进入作业画布界面。 配置Flink JAR作业相关参数。
当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当
当目的端为OBS数据源时,仅支持配置二进制格式。 CSV格式 JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JS
可能会导致集群内存不足。 /0521/Lists.txt JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JS
送至API网关专享版、ROMA-APIC、或不发布网关。 发布请求的发起者若非审核人,需要API的审核人完成申请的审核。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/publish
可能会导致集群内存不足。 /0521/Lists.txt JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JS
部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续约会更新授权有效期,仅支持延长有效期,不能减少。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/authorize
当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当
择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 安全组 IPv6双栈支持 当配置的子网支持IPv6后,可选择是否开启IPv6双栈支持。 开启