正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击左侧导航“质量作业”。 单击“新建”,配置质量作业的基本信息,如下图所示。 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后配置规则信息,如下图所示。 单击“下一步”,配置告警信息,如下图所示。 单击“下一步”,配置订阅信息,如下图所示。 单击“下一步”,配置调度信息,如下图所示。
种。 当执行策略配置为逻辑或,则表示多个IF判断条件只要任意一个满足条件,则执行当前节点。 当执行策略配置为逻辑与,则表示多个IF判断条件需要所有条件满足时,才执行当前节点。 如果没有配置执行策略,系统默认为逻辑或处理。 图11 多IF条件作业样例 配置方法 配置执行策略 登录DataArts
实时处理集成作业开发 实时处理集成作业概述 支持的数据源 新建集成作业 配置实时处理集成作业 管理并查看监控指标 配置源端和目标端参数 自动建表映射规则 性能调优参数配置 常见问题 父主题: 数据开发
手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动配置血缘时,此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。 数据血缘的展示: 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然
编辑作业JSON:选择作业操作列的“更多 > 编辑作业JSON”,可直接编辑该作业的JSON文件,作用等同于修改作业的参数配置。 配置定时任务:选择作业操作列的“更多 > 配置定时任务”,可选择在有效期内周期性启动作业,具体请参考配置CDM作业定时任务。 日志:选择作业操作列的“更多 > 日志”,可查看该作业最近的一次日志。
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
添加审核人 管理配置中心 数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您可以根据自己的业务需要进行自定义配置。 在数据架构控制台,单击左侧菜单栏的“配置中心”,进入配置中心页面。 进入“功能配置”页签,如下图所示,设置“模型设计业务流程步骤”。 图2 功能配置 单击“确定”完成配置。
操作名称 资源类型 事件名称 创建集群 cluster createCluster 删除集群 cluster deleteCluster 修改集群配置 cluster modifyCluster 开机 cluster startCluster 重启 cluster restartCluster
在任务树中选中transport目录,然后单击“新建”按钮,开始新建采集任务。 按如下配置,新建采集任务transport_all。配置采集任务后,单击“下一步”。 图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式
准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Visual Studio,如果未安装,请至Visual Studio官方网站下载。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。
总览”,单击并进入“资产报告”页面。 首次进入“资产报告”页面,需要配置资产报告任务。单击右上方的配置图标,弹出配置窗口。 依次选择生效时间、调度周期和调度具体时间,系统将按配置的时间调度运行资产报告任务,更新资产报告内容。 图2 配置资产报告任务 系统调度运行资产报告任务后,重新进入“资产
创建一个数据开发模块空作业,作业名称为“job_MRS_Flink”。 图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群
添加审核人 管理配置中心 数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您可以根据自己的业务需要进行自定义配置。 在数据架构控制台,单击左侧菜单栏的“配置中心”,进入配置中心页面。 进入“功能配置”页签,如下图所示,设置“模型设计业务流程步骤”。 图2 功能配置 单击“确定”完成配置。
否 String 路径过滤器,过滤类型为通配符时配置,用于过滤文件目录,例如:“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器,过滤类型为通配符时配置,用于过滤目录下的文件,支持配置多个文件,中间使用“,”分隔,例如:“*.csv
和AppSecret等信息,具体参见认证前准备。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 获取并安装PHP安装包,如果未安装,请至PHP官方下载页面下载。 将PHP安装目录中的“php.ini-production”文件复制
Top10电影) 创建DWS SQL脚本top_active_movie(用于存放最活跃的Top10电影) 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的Top10电影结果。 服务退订,如果不再使用DataArts Studio及相关服务,请及时进行退订和资源删除。
图5 新建规则 选择“业务指标监控 > 业务场景管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建场景。 图6 基本配置 图7 规则组配置 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。 在业务场景管理列表中,单击操作列的“运行”,再跳转到运维管理模块。
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成
单击左侧导航“业务场景管理”。 单击页面上方的“新建”,输入场景的基本配置参数,如下图所示。 单击“下一步”,输入规则组的配置参数,如下图所示。 单击“下一步”,配置订阅信息,如下图所示。 单击“下一步”,配置调度信息,如下图所示。 单击“提交”,完成作业场景的创建。 在业务场景