检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编辑作业JSON:选择作业操作列的“更多 > 编辑作业JSON”,可直接编辑该作业的JSON文件,作用等同于修改作业的参数配置。 配置定时任务:选择作业操作列的“更多 > 配置定时任务”,可选择在有效期内周期性启动作业,具体请参考配置CDM作业定时任务。 日志:选择作业操作列的“更多 > 日志”,可查看该作业最近的一次日志。
参数”查看脚本中所引用的参数信息,同时可以查看环境中已配置的环境变量信息,不可修改,SQL语句中的参数可以按照参数名进行排序。 支持SQL编辑器风格配置。鼠标放置在上,单击“风格配置”,可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 SQL查询结
图4 创建作业 作业名称:用户自定义作业名称。 源端作业配置: 源连接名称:选择5创建的HDFS连接“hdfs_link”。 源目录或文件:配置为H公司贸易数据在本地的存储路径,可以是一个目录,也可以是单独一个文件。这里配置为目录,CDM会迁移整个目录下的文件到OBS。 文件格式
aArts Studio 用户指南》的新建作业章节。 各节点与作业的配置详情请参见后续步骤。 图2 DLF作业 配置“创建作业”节点。 DLF通过Rest Client节点调用REST接口创建CDM迁移作业。配置Rest Client节点的属性如下 : 节点名称:您自定义名称,例
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
在左侧流程目录中选中一个流程,单击“新建”按钮,开始新建原子指标。 在新建原子指标页面,参考表1配置参数。在本示例中,需要创建经营面积和销售额两个原子指标数据。 图2 新建原子指标1(配置基本信息、配置数据对象) 图3 新建原子指标1(配置表达式) 表1 新建原子指标参数说明 参数名称 说明 基本信息 *指标名称
在任务树中选中transport目录,然后单击“新建”按钮,开始新建采集任务。 按如下配置,新建采集任务transport_all。配置采集任务后,单击“下一步”。 图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式
义策略配置后,单击“确定”完成MRS和CDM相关自定义策略创建。 创建自定义策略时,暂不支持同时选全局级云服务和项目级云服务,需要拆分为两条策略。因此本例先配置IAM相关策略,再配置MRS和CDM相关策略。 名称:DataArtsIamUserGroup_MRS 策略配置方式:单
网络打通 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题: 数据集成(实时作业)
在左侧主题树中选中一个主题,然后单击“新建”按钮,或者直接单击“新建”按钮。 在“新建事实表”页面,完成如下配置: 设置“基本配置”参数: 图1 事实表基本配置 表1 基本配置参数说明 参数名称 说明 *所属主题 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。 *表名称
添加审核人 管理配置中心 数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您可以根据自己的业务需要进行自定义配置。 在数据架构控制台,单击左侧菜单栏的“配置中心”,进入配置中心页面。 进入“功能配置”页签,如下图所示,设置“模型设计业务流程步骤”。 图2 功能配置 单击“确定”完成配置。
当您新建或编辑维度后,对维度进行发布,如果同步状态中存在失败,可以对维度表手动进行同步。 同步时,系统将根据“配置中心 > 功能配置”页面中的“数据表更新方式”执行相应的同步操作,详情请参见功能配置。 维度表关联了质量规则进行发布后,在数据质量作业目录上面单击“同步主题为目录”后,数据架构自动
在新建维度之前,如果您尚未添加主题信息,请先参考主题设计添加主题信息。 在“新建维度”页面,根据页面提示配置参数。 “基本配置”和“物化配置”,设置如下: 图1 配置参数 表1 基本配置 参数名称 说明 *所属主题 下拉框中选择相应的主题。 *维度名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
(可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列表中,单击标签搜索,筛选出所配置标签的资源。 父主题: 创建并管理CDM集群
总表”页签。 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始创建汇总表。 在“新建汇总表”页面,完成相关配置。 图1 配置基本信息 图2 配置属性信息 配置完成后,单击保存并进行发布。 单击表名称,可以查看汇总表详情。 创建汇总表详细信息请参见数据架构的数据集市。 父主题:
重启CDM集群 操作场景 在进行某些配置修改(如关闭用户隔离等)后,需要重启集群才能生效。此时您需要进行集群重启操作。 重启CDM集群进程或集群VM都会导致正在运行的作业失败,重启期间也无法调度新的作业,请谨慎操作! 前提条件 已创建CDM集群。 重启集群 登录CDM管理控制台。
号。补数据时,配置的补数据的业务日期就会替换作业计划时间。 Job.planTime会把作业计划时间通过表达式转化为yyyy-MM-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置,配置补数据作业的调度周期,该使用指导配置周期设置为天。 图3 配置调度周期 作业
送至API网关专享版、ROMA-APIC、或不发布网关。 发布请求的发起者若非审核人,需要API的审核人完成申请的审核。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/publish
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题: 数据集成(实时作业)
部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续约会更新授权有效期,仅支持延长有效期,不能减少。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/authorize