检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
号。补数据时,配置的补数据的业务日期就会替换作业计划时间。 Job.planTime会把作业计划时间通过表达式转化为yyyy-MM-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置,配置补数据作业的调度周期,该使用指导配置周期设置为天。 图3 配置调度周期 作业
生成的元数据Schema所在的OBS目录。 图5 配置Import GES节点 图6 新建元数据 作业编排完成后,单击,测试运行作业。 图7 测试运行作业 如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图8 调度配置 说明: 2023/04/01 00:00开始,每天00点00分执行一次作业。
在左侧流程目录中选中一个流程,单击“新建”按钮,开始新建原子指标。 在新建原子指标页面,参考表1配置参数。在本示例中,需要创建经营面积和销售额两个原子指标数据。 图2 新建原子指标1(配置基本信息、配置数据对象) 图3 新建原子指标1(配置表达式) 表1 新建原子指标参数说明 参数名称 说明 基本信息 *指标名称
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 新建OBS到MySQL迁移作业
单击左侧导航“业务场景管理”。 单击页面上方的“新建”,输入场景的基本配置参数,如下图所示。 单击“下一步”,输入规则组的配置参数,如下图所示。 单击“下一步”,配置订阅信息,如下图所示。 单击“下一步”,配置调度信息,如下图所示。 单击“提交”,完成作业场景的创建。 在业务场景
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中,单击“数据服务专享版API配额”中对应配额的“设置”按钮,对已分配配额进行配置。配置完成后单击“保存”,保存当前配置。 已分配配额表示分配给
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图7 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执
y Params的值,否则就需要手动输入。 图3 Params 如果您需要对调用结果进行自定义调整,则还可以配置如下Query参数: (可选)分页配置:默认情况下,对于配置方式和默认分页的脚本/MyBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,您可以修改如
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图3 循环执行子作业 配置完成SQL语
无需自定义工作空间角色,直接将用户添加到工作空间成员、配置预置角色即可;否则,请您创建自定义角色,再将用户添加到工作空间成员、配置自定义角色。自定义工作空间角色的具体操作请参见(可选)自定义工作空间角色,添加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。
使用Agent Agent功能待下线,无需配置。 - local_infile字符集 mysql通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。
、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,可打开此配置。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。 是否写入脏数据:表到表的迁移容易出现脏数据,建议配置脏数据归档。 作业运行完是否删除:这里保持默认值“不删除”。
总表”页签。 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始创建汇总表。 在“新建汇总表”页面,完成相关配置。 图1 配置基本信息 图2 配置属性信息 配置完成后,单击保存并进行发布。 单击表名称,可以查看汇总表详情。 创建汇总表详细信息请参见数据架构的数据集市。 父主题:
英文名称。只允许英文字母、数字、空格、下划线、中划线、左右括号以及&符号。 别名 只允许除\、<、>以外的字符。 说明: 您需提前在配置中心的“模型配置”页签中启用主题设计别名,这里才可配置别名。 上级主题 选择所属的上级主题。 数据owner部门 数据的拥有者所在部门。 *数据owner人员 在下拉
如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 2022/02/09至2022/02/28,每天1点00分执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。 跨周期依赖:可以选择配置为依赖上一周期或者不依赖,此处配置为不依赖即可。
号。补数据时,配置的补数据的业务日期就会替换作业计划时间。 Job.planTime会把作业计划时间通过表达式转化为yyyy-MM-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置,配置补数据作业的调度周期,该使用指导配置周期设置为天。 图3 配置调度周期 作业
否 String 路径过滤器,过滤类型为通配符时配置,用于过滤文件目录,例如:“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器,过滤类型为通配符时配置,用于过滤目录下的文件,支持配置多个文件,中间使用“,”分隔,例如:“*.csv
该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程