检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据目录权限规则生效后,仅该数据目录权限规则所适配的用户,可管理限定标签或者分类的数据资产。例如设置类型为标签,范围选择test,用户设置为A,当开启权限规则后,A用户只可管理test标签的资产。 图1 新建规则 在数据权限规则列表中,选择对应规则后的编辑和删除,可修改和删除数据权限规则。
过滤。 生成异常数据:开启此项,表示异常数据将按照配置的参数存储到规定的库中。 数据库或Schema:开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema 表前缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。 表后缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的后缀。
Shell节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
本,不勾选则无法单击确认。在提交版本时,单击“版本对比”可以查看当前提交版本与最近一个版本之间的差异对比。 图1 提交 如果在“审批中心”开启了提交审批的开关,则脚本提交审批后,需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,脚本才能提交成功。具体操作请参见审
和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切
单次Commit的分区数量 > 50,推荐值30。 compaction.async.enabled boolean true 是否开启compaction,默认为true,即默认开启hudi的compaction操作。compaction操作一定程度会影响实时任务的写入性能,为了保证Migrat
如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示作业审批人,参考表4。 审批开关的配置请参见审批中心。 表4 审批人属性说明 参数名 是否必选 参数类型 说明
绑定公网域名”,输入已完成域名注册、ICP备案的域名,数据服务调用DNS服务将公网域名与外网地址相关联。注意,绑定公网域名的前提是在集群创建时已开启“公网入口”绑定了弹性公网IP,否则将会绑定失败。另外,每个租户支持添加50个公网域名。 公网域名支持添加主域名及主域名的子域名,即最多支持添加二级域名,例如abc
编辑”中配置下表所示参数。 表1 Hudi表参数 参数名 参数值 含义 compaction.schedule.enabled true 开启compaction计划生成 compaction.delta_commits 60 compaction计划生成的compaction次数触发周期
dw_config 参数 参数类型 描述 fgac_flag Boolean 是否开启细粒度认证,true表示开启细粒度认证,false表示关闭细粒度认证。 fgac_type String 细粒度认证类型,开启细粒度认证时才生效。"0"表示开发态细粒度认证,支持数据开发细粒度脚本运行、
不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云
name 否 String API名称。 description 否 String API描述。 log_flag 否 Boolean 是否启用访问日志。 api_type 否 String API类型。 枚举值: API_SPECIFIC_TYPE_CONFIGURATION: 配置类API
数据连接id,获取方法请参见查询细粒度认证数据源连接列表。 fgac_flag 否 Boolean 是否开启细粒度认证,true表示开启细粒度认证,false表示关闭细粒度认证。 fgac_type 否 String 细粒度认证类型,开启细粒度认证时才生效。"0"表示开发态细粒度认证,支持数据开发细粒度脚本运行
数据分流开关,在多并发场景下开启数据分流可将数据按规则分配给不同的工作进程写入目的端,可提高写入性能。 sink.keyby.mode string table - 数据分流模式,可选填写: pk:按数据主键值进行分流。 table:按表名进行分流。 说明: 多并发场景下,若开启DDL功能,只能按表名分流,否则可能导致数据不一致。
规则组包含一个或者多个规则,规则间是逻辑表达式。 定义规则A 支持从下拉框中选择已定义的规则。 单击,可插入多条规则。 订阅配置 通知状态 通过单击或来关闭或开启通知开关。 通知类型 包含如下类型: 触发告警 运行成功 选择主题 选择消息通知的主题。 说明: 当前仅支持“短信”、“邮件”这两种协议的订阅终端订阅主题。
警。建议预警余量基于基线上任务的运行时长来配置。 基线任务开关 :开启基线任务,系统将会监控基线任务以及其依赖链上游的所有任务。 :关闭基线任务,系统不会监控基线任务以及其依赖链上游的所有任务。 报警开关 :开启报警开关,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
DALONE模式。 选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群,只能使用EMBEDDED运行模式连接其中一个集群,其余需使用STANDALONE。 linkConfig
印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 动态水印 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指定的用户组或角色在数据开发组件中转储或下载敏感数据时,数据开发组件会为敏感数据注入暗水印,保护敏感数据不被泄露。