检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
L语句。 merge into loader线程数 每个loader内部启动的线程数,可以提升写入并发数。 说明: 不支持“约束冲突处理”策略为“replace into”或“on duplicate key update”的并发场景。 1 父主题: 配置CDM作业目的端参数
注意,条件分支的直接下游不能为输出处理算子,只能获取上级算子请求参数或结果集进行条件判断。 并行处理算子可选,位于中间层,必须至少有2个分支,最多支持20个分支,必须配置失败策略。 注意,并行处理的直接下游不能为输出处理算子,只能支持同时执行多个分支逻辑,分支间互不影响。 有且只有一个输出处理算子,并位于最下游,直
点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。
作业)。 实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 实时处理作业可以配置节点
享集群增量包创建集群后使用。 数据服务共享版当前仅限于华东-上海一、华北-北京四、华南-广州的存量用户调测使用,受限于服务稳定性和生命周期策略,不建议用于生产环境。 DataArts Studio实例中默认不包含数据服务专享集群,如果您需要使用数据服务专享版,请创建数据服务专享集群增量包。
作业)。 实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 实时处理作业可以配置节点
通用添加安全组规则方法:打开数据源服务界面,进入用户集群,找到网络部分,单击安全组,跳转到安全组编辑页面,单击入方向规则,添加规则。可参考如下示例放通资源组网段。 优先级 策略 类型 协议端口 源地址 1 允许 IPv4 全部协议
布。 开发API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API 配置API调用流控策略 授权API调用 调用API 申请API授权 通过不同方式调用API
写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。 (可选)配置流控策略 为了保护后端服务的稳定的考虑,您可以对API进行流量控制。 (可选)主动授权API 应用定义了一个API调用者的身份。对于使用APP或I
数字、英文、下划线、中划线和通配符*,暂不支持中文以及其他特殊字符。 DLI权限集同步时会将权限由IAM创建自定义策略绑定到用户/用户组中。IAM最多可创建自定义策略200条,同步前请确保配额充足。 进行权限同步时,需要为dlg_agency委托配置相关权限,请参考授权dlg_agency委托。
数字、英文、下划线、中划线和通配符*,暂不支持中文以及其他特殊字符。 DLI权限集同步时会将权限由IAM创建自定义策略绑定到用户/用户组中。IAM最多可创建自定义策略200条,同步前请确保配额充足。 进行权限同步时,需要为dlg_agency委托配置相关权限,请参考授权dlg_agency委托。
”参数,推荐在此处配置即可。 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作
物理模型、维度模型、数据集市,都是模型,在数仓规划进行统一管理。 数仓规划支持细粒度权限管控,在数据安全模块对数据架构模型目录权限管控策略进行配置。 新建数仓分层 数仓分层支持用户根据实际业务场景进行自定义。具体操作如下: 进入数据架构主页面。 在数据架构控制台,单击左侧导航树中的“模型设计
GES节点 图6 新建元数据 作业编排完成后,单击,测试运行作业。 图7 测试运行作业 如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图8 调度配置 说明: 2023/04/01 00:00开始,每天00点00分执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。
数据,则数据会追加到已有的表中。 是 换行符处理方式 对于写入Hive textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。 删除 替换为其他字符串 不处理 删除 Hive表分区字段 “自动创建”设置为“不自动创建”时,无该此参数。 对Hive建表设置分区字段,多个值以逗号隔开。
Finish(Dummy节点):不执行任何操作,只作为结束点的标识。 作业编排完成后,单击,测试运行作业。 如果作业测试运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 调度方式:本示例中选择“周期调度”。 调度属性:2022/02/09至2022/02/28,每天1点执行一次作业。
通用添加安全组规则方法:打开数据源服务界面,进入用户集群,找到网络部分,单击安全组,跳转到安全组编辑页面,单击入方向规则,添加规则。可参考如下示例放通资源组网段。 优先级 策略 类型 协议端口 源地址 1 允许 IPv4 全部协议
ReadOnlyAccess MRS Administrator MRS Admin MRS User MRS Viewer Self Define(任意自定义策略) DWS数据源的用户同步任务有如下约束: 仅当DWS集群guest_agent版本为8.2.1,或在8.2.1以上、9.0.0以下时,才
量包创建集群后使用。 说明: 数据服务共享版当前仅限于华东-上海一、华北-北京四、华南-广州的存量用户调测使用,受限于服务稳定性和生命周期策略,不建议用于生产环境。 DataArts Studio实例中默认不包含数据服务专享集群,如果您需要使用数据服务专享版,请创建数据服务专享集群增量包。
目的端需要配置的作业参数 同步场景 目的端需要配置参数 字段映射 单表 基本参数 高级属性 支持 分库分表 基本参数 高级属性 支持 整库迁移 选择库匹配策略和表匹配策略 不支持 配置字段映射关系。 配置作业源端参数和目的端参数后,需要配置源端和目的端列的映射关系,配置字段映射关系后,任务将根据字段映