检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项”中勾选所需要的选项,添加自定义项,完成后单击“确定”。 保存模板后,如需修改,您也可以进入“配置中心 > 标准模板管理”页面修改模板,详情请参见标准模板管理。在新建数据标准时,将需要设置此处模板中选中的选项。 在“数据标准”页面,在目录树上,单击一个目录,然后单击按钮在该目录
Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“运营管理 > 流控策略”,进入到流量控制信息页面。 单击“创建流控策略”,弹出“创建流控策略”对话框。输入如表1所示信息。 图1 创建流控策略 表1
Job:创建CloudStream作业,并启动作业 CloudTableManager节点:CloudTable表管理,参考创建和删除表。 OBSManager: OBS路径管理,包括创建和删除路径 RESTAPI: REST API请求 SMN: 发送短信或邮件 MRS Spark:执行MRS服务的Spark作业
用作业参数和使用EL表达式(参见表达式概述)。 如需新建DIS通道,请参考以下方法: 单击,前往数据集成模块的“通道管理”页面新建DIS通道。 前往DIS管理控制台进行新建。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试
示自定义规则。 template_id Long 规则模板ID。 connection String 数据连接ID。 connection_type String 数据连接类型。 databases String 数据库名,当存在多个值时以逗号分隔。 sql String 自定义规则中的SQL脚本。
数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
classifications 否 Array of strings 分类。 connection_names 否 Array of strings 数据连接。 exclude_classifications 否 Boolean 是否排除分类。 exclude_security_levels 否
作业指定对应参数。 Jar包资源 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 运行程序参数 否 为本次执行的作业配置相关优化参
作业失败。 Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。
户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。 功能模块 数据安全包括: 数据密级 对数据进行等级划分,方便数据的管理。 数据分类 基于数据密级,可以进行数据分类,来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类,可以通过创建脱敏策略,实现数据资产的脱敏和隐私保护。
示自定义规则。 template_id Long 规则模板ID。 connection String 数据连接ID。 connection_type String 数据连接类型。 databases String 数据库名,当存在多个值时以逗号分隔。 sql String 自定义
能、性能。关于自定义镜像的更多详情,请参见自定义镜像。 CUs 是 CUs为DLI计费单位,一个CU是1核4G的资源配置。 管理节点CU数量 是 设置管理单元的CU数,支持设置1~4个CU数,默认值为1个CU。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明:
限;在管理员将策略配置好后,可删除此默认策略。 前提条件 已通过敏感数据识别任务,自动或手动将敏感数据同步到数据地图组件,详见发现敏感数据或查看敏感数据分布。 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创
和请求方法。 图1 API基础定义 对于APP认证的API,您必须提供有效的AppKey、AppSecret才能够生成认证签名。 在“应用管理”中生成一个APP,并将APP绑定到API,就可以使用APP对应的AppKey和AppSecret访问该API。可在应用详细信息中查看AppKey和AppSecret。
高优先级。 Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统
ZONE TIMESTAMP WITH LOCAL TIME ZONE 用于存储一个本地时区的 TIMESTAMP 值,能够将标准时区类型 TIMESTAMP WITH TIME ZONE 类型转化为本地时区类型。 2002-12-12 09:10:21 +8:00','2002-12-12
该参数表示Spark程序依赖的资源包。 资源类型 是 OBS路径 DLI程序包 DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 分组设置 否 当“资源类型”选择“DLI程序包”时,才需要配置该参数。
只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz BizVersionManageVO object 业务版本管理,只读。 表7 CommonConditionVO 参数 参数类型 描述 name String 名称。 field_ids Array of
移和数据开发模块的脚本开发、作业开发、作业调度等功能,以及DWS SQL基本语法。 本入门示例涉及DataArts Studio数据集成、管理中心和数据开发模块,DataArts Studio各版本均可以满足使用要求。 操作流程如下: 准备工作,包括使用DataArts Stud
不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限