正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成员的权限变更生效。 对于工作空间管理员角色,即使自定义角色与其权限点相同,也无法进行某些需要校验管理员角色的操作。例如全量导出数据服务API等。 操作步骤 参考访问DataArts Studio实例控制台,以DAYU Administrator或Tenant Administrator账号登录DataArts
作业编排完成后,单击,测试运行作业。 如果作业测试运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 调度方式:本示例中选择“周期调度”。 调度属性:2022/02/09至2022/02/28,每天1点执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。
"false"} 方法2 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业画布右侧“调度配置”页签,进入调度配置页面。 调度方式选择“周期调度”,调度周期选择“月”,选择时间为“每月最后一天”,如下图所示。 图4 调度时间为每月最后一天 调度时间配置好之后,在每个月
数请根据表1和表2选择。 表1 源端作业参数说明 源端类型 说明 参数配置 OBS 支持以CSV、JSON或二进制格式抽取数据,其中二进制方式不解析文件内容,性能快,适合文件迁移。 参见配置OBS源端参数。 MRS HDFS FusionInsight HDFS Apache HDFS
量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH:采用这种分布方式,需要为用户表指定一个分布列(distribute
名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 选择数据库名称,该数据库已创建好,建议不要使用默认数据库。
换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_2 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 自动创表
文件,将“Add password here”替换为对应连接的正确密码,再执行导入操作。 文本导入:无法正确上传本地JSON文件时可选择该方式。将作业的JSON文本直接粘贴到输入框即可。 当前导入时不支持覆盖已有作业。 父主题: 在CDM集群中创建作业
SQL脚本先创建和开发脚本。关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称,该数据库已创建好,建议不要使用默认数据库。
下线及删除原子指标的前提是无依赖引用,即无衍生指标引用。 删除 勾选需要删除的原子指标,单击上方“更多 > 删除”,系统弹出“删除”对话框。 单击“是”。 导入 可通过导入的方式将原子指标批量快速的导入到系统中。 在原子指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入原子指标 下载原子指标导入模板,编辑完成后保存至本地。
取决于源端数据源的性能。 如需优化,请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时,网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0.8/3
单击“下一步”,配置订阅信息,如下图所示。 勾选触发告警表示作业报警时发送通知到对应的smn主题,勾选运行成功表示不报警时发送通知到SMN主题。 单击“下一步”,配置调度方式,如下图所示。 单次调度表示需要手动触发运行,周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例,设置每15分钟触发运行一次对账作业为例的配置。
技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。需要注意的是,数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。 前提条件 已在数据架构组件中定义并发布过的逻辑实体与数据表、业务指标。 已配置元数据采集任
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。 使用Hive语法创建OBS表时,支持TEXTFILE
l)、选择字段类型、填写字段值。 用户可同时添加多个附加字段。 自动建表:单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 分库分表场景 对于不同库上表可以聚合为一个表,同步时会被统一写入一个目标表中,匹配的分库分表需要保证结构的一致性。 源端配置。
操作流程概述 流程介绍 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS
名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图4所示。 图4
通过工具自动生成JSON格式的消息:单击“生成JSON消息”,在弹出的对话框中填写“消息”和选择“协议”。 模板消息:按模板格式发送的消息,即固定格式的消息,可以通过tag的方式来处理变量的部分。 手动输入模板格式的消息:在“消息内容”直接输入。 通过工具自动生成模板格式的消息:单击“生成模板消息”,在弹出的对话框
再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。 数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。 新建并运行元数据采集任务 请参见配置元数据采集任务,新建并运行元数据采集任务,注意任务中需要选择待查看血缘关系的数据表。
建该表。 说明: 自动建表只同步列注释,表注释不会被同步。 自动建表不支持同步主键。 不自动创建 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 待清空分区