检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据
关系建模 物理模型是指按照一定规则和方法,将逻辑模型中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 在关系建模中,您可以新建SDI层和DWI层两个模型,模型最终是通过物理建模进
GBASE连接固定选择为GBASE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是
看日志。请根据错误日志定位失败原因,问题解决后,您可以在事实表页面勾选该事实表,再单击列表上方的“更多 > 同步”尝试重新同步。如果问题仍未能解决,请联系技术支持人员协助处理。 指标设计:新建并发布技术指标 在本示例中,您需要新建如表14和表15所示的技术指标: 表14 原子指标
详细信息。 指标设计:新建并发布技术指标:新建业务指标(本例不涉及)和技术指标,技术指标又分为原子指标、衍生指标和复合指标。 指标:指标一般由指标名称和指标数值两部分组成,指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。
勾选后进行筛选,能够显示未来时间内预计可能会生成的实例,显示的未生成实例数量不超过100个。 对于未来时间内尚未生成的作业实例,可以进行“冻结”和“解冻”操作。您可以单击作业实例列表上面的“冻结”和“解冻”按钮,或者通过右侧操作列的“更多”中选择冻结和解冻进行冻结和解冻操作,支持批量操作。 冻结:作业实例尚未生
如果大量CDM作业同时执行,当超过当前CDM集群的并发执行作业数时,会导致作业排队,耗时提升。 建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景,调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数,同时也可以设置集群最大抽取并发数。
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
全局配置”或在映射后的单表“表属性编辑”中配置index.type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表: 事实表通常整表数据规模较大,以新增数据为主,更新数据占比
ORACLE连接固定选择为ORACLE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是
规范查询字符串需要满足以下要求: 根据以下规则对每个参数名和值进行URI编码: 请勿对RFC 3986定义的任何非预留字符进行URI编码,这些字符包括:A-Z、a-z、0-9、-、_、.和~。 使用%XY对所有非预留字符进行百分比编码,其中X和Y为十六进制字符(0-9和A-F)。例如,空格字符必须编码为
作业/脚本变更管理 作业/脚本的导入和导出 工作空间是否开启作业/脚本变更管理。 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。 Flink调试OBS桶 Flink
CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据
手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。 MRS集群名:选择已有的MRS集群。 KMS密钥:选择一个KMS密钥,使用KMS密钥对敏感数据进行加密。如果未创建KMS密钥,请单击“访问KMS”进入KMS控制台创建一个密钥。 绑定Agent:需选择一个数据集成集群作为连接代理,该集群和MRS集
lt/src_test/.snapshot/s0 目的端“写入目录”输入:/hbase/data/default/表名 执行fixMeta和fixAssignments等命令恢复表,参考使用命令恢复历史不变的数据。 在CDH集群中删除快照: hdfs dfs -deleteSnapshot
普通空间均可查询到“公共层空间”目录下创建的码表,“公共层空间”无法反向查询到普通空间目录下创建的码表。 普通空间仅对本空间内创建的码表和目录有编辑权限,不支持对“公共层空间”的码表和其所属的目录进行操作,仅能查看引用。 图13 码表管理 编辑 在码表列表中,找到所需要的码表,单击其所在行的“编辑”,即可编辑指定的码表。
手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。 MRS集群名:选择已有的MRS集群。 KMS密钥:选择一个KMS密钥,使用KMS密钥对敏感数据进行加密。如果未创建KMS密钥,请单击“访问KMS”进入KMS控制台创建一个密钥。 绑定Agent:需选择一个数据集成集群作为连接代理,该集群和MRS集
现计划时间和开始时间相差大。例如CDM、ETL作业的调度周期至少应在5分钟以上,并根据作业表的数据量、源端表更新频次等调整。 如果通过DataArts Studio数据开发调度CDM迁移作业,CDM迁移作业处也配置了定时任务,则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突
在弹出窗口中配置如下参数,然后单击“确定”。 图2 配置逻辑模型 表1 参数描述 参数名称 说明 *模型名称 只能包含中文、英文字母、数字和下划线。 前缀校验 只能包含英文字母、数字和下划线,且英文字母开头。 说明: 模型校验前缀:针对关系建模里面的物理表(关系表)、维度建模里面的事实表、数据集市的汇
数据集范围为增量模式时,支持单次调度和周期调度。 当选择为周期调度时,参数配置参考表3。 表3 配置周期调度参数 参数名 说明 *调度日期 调度任务的生效时间段。 *调度周期 选择调度任务的执行周期,并配置相关参数。 分:选择调度开始时间和结束时间,配置间隔的分钟时长。 小时:选择调度开始时间和结束时间,配置间隔的小时时长。