检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关于EL表达式的使用,请参见表达式概述。 描述 否 参数说明。 配置完一个环境变量后,您还可以进行新增、修改或删除等操作。 新增:单击“新增”配置新的环境变量。 修改:参数值为常量时,直接在文本框中修改参数值;参数值为EL表达式时,可以单击文本框后方的编辑EL表达式,修改参数值。修改完成后,请“保存”。
Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数据开发的作业中,您可以在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意,当手动配置血缘时,此节点的自动血缘解析将不生效。 支持手动配置血缘的作业节点类型如下所示。
Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数据开发的作业中,您可以在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意,当手动配置血缘时,此节点的自动血缘解析将不生效。 支持手动配置血缘的作业节点类型如下所示。
数据输出,不支持质量评分。 自定义规则:在创建质量作业时,“规则类型”选择为“自定义规则”,然后您可以通过输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 SQL语句可以包含同一数据库下的多张表,但不同数据库的表无法共存。 本文以新建自定义模板为例,说明如何创建规则。如
ht LibrA的运行非常重要,在CDM数据迁移到DWS/FusionInsight LibrA过程中,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
所属目录 业务规则的存储目录,可选择已创建的目录。目录创建请参见图1。 定义关系 关系是定义指标和数值间或者指标和指标间的逻辑表达式,可以包含算术运算。指标使用小写字母a-z代替它的缩写,按添加指标的顺序依次为a,b,c,...。 说明: 只支持一个合法逻辑表达式,支持简单的四则算术运算。
集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端
多种数据源间的数据同步 支持多种数据源链路组合,您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决
集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端
基本参数 数据库名称 选择待迁移的数据库。 mongodb 集合名称 相当于关系数据库的表名。单击输入框后面的按钮可进入选择集合名的界面,用户也可以直接输入集合名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 高级属性
模式或表空间:选择待写入数据的DWS数据库。 自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉
“按需计费”计费,购买套餐包之后的费用按“套餐包”计费。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 不同规格类型的资源组,计费不同,详情请查看计费说明,您也可以通过DataArts Studio提供的价格计算器,选择您需
记录。 单击某一条运行记录,可查看当时的脚本信息和运行结果。 下载脚本历史运行结果。 系统默认支持所有用户都能下载脚本的历史运行结果。 您可以在结果页签单击“下载结果”。 支持将CSV格式的结果文件下载到本地。查询结果和下载结果最大支持1000条。 作业运行历史 在DataArts
配置源端MySQL库表与目的端Kafka Topic的映射规则。可指定为固定的一个Topic,也可使用内置变量做映射,将不同源表数据同步到不同的Topic中。 可以使用的内置变量有:源Topic名:#{source_Topic_name} 同步kafka partition策略 支持以下三种投递策略将源端的数据按规则同步到Kafka
监测度量各业务/IT部门的数据治理情况,持续推进各部门的数据治理水平提升,进而提高整体数据治理成熟度。 年度进行的整体数据治理成熟度评估,可以结合主观及客观调查度量,综合反映企业当前数据治理成熟度水平,帮助制定切实可行的数据治理整体目标。季度性实施的数据治理评分卡是一个重要的工具
在此时间之后创建的租户,其所购买的实例支持自然周期调度;对于在此时间之前创建的租户,其所购买的实例支持传统周期调度。 在配置周期调度时,您可以通过单击周期调度后面的弹出的使用指南标题内容,确认当前实例为传统周期调度还是自然周期调度。如下图所示,则表明此实例为传统周期调度方式。 图3
Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“表权限视图”,进入表权限视图页面。 图1 表权限视图 在表权限视图页面,您可以通过切换页签,查看表权限的不同拥有对象: “表-用户”页签:默认展示当前实例下,通过授权对象为用户的权限申请和审批流程所获取的表权限。支持
设置添加订阅的责任人。责任人是创建作业时所配置的责任人信息。 终端协议 是 短信 邮件 电话 终端信息 是 设置订阅的终端信息。 单击“确定”。 终端订阅配置完成后,您可以在通知的“操作”列进行如下操作。 单击“请求订阅”,打开“请求订阅”页面,订阅状态为“未确认”,单击“确定”,确认订阅后,订阅状态为“已确认”。
模型设计:应用逻辑模型、关系建模、维度建模和数据集市的方法,进行分层建模。 逻辑模型:用于创建逻辑模型以及逻辑模型的修改和删除,转化为物理模型。同时,可以对逻辑实体进行创建及发布,进行逆向数据库等操作。 关系建模:基于关系建模,新建SDI层和DWI层两个模型。 SDI:Source Data
选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 迁移行为