正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置作业定时自动执行,“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。 时间过滤 参数位置:在创建表/文件迁移作业时
字段的值替换为当前时间。所选字段必须为timestamp类型。 - 写入参数 在执行Spark SQL往hudi插入数据前,通过set语法设置参数,从而控制spark的写入行为。 hoodie.combine.before.upsert 父主题: 配置作业目的端参数
数据识别规则页面。 单击页面上方“规则分组”页签,进入分组列表页面。 图1 新建数据识别规则组 单击“新建”,输入新建分组名称和描述,参数设置参考表1,并勾选左侧列表中的识别规则。配置完成后单击“确定”即可。 图2 新建分组参数配置 您所勾选的规则将显示在右侧列表中,右侧已选列表
API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据: 云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。 获取方法:在集群管理界面,单击CDM集群名称可查看集群ID,例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创
*数据密级 对配置的数据进行等级划分。如果现有的分级不满足需求,请进入数据密级页面进行设置,详情请参见定义数据密级。 数据分类 对配置的数据进行分类划分。如果现有的分类不满足需求,请进入数据分类页面进行设置,详情请参见定义数据分类。 规则描述 对当前规则进行简单描述。 内置 *规则模板
用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
映射名称:新建映射时会自动生成,用户可以手动修改。 源逻辑实体:如果数据来源于一个模型中的多个逻辑实体,可以单击逻辑实体后的按钮为该逻辑实体和其他逻辑实体之间设置JOIN。 图7 设置源表JOIN条件 表5 JOIN条件参数说明 参数名 参数说明 *JOIN逻辑实体 下拉选择需要和源逻辑实体建立JOIN关系的逻辑实体。
等信息。在节点监控页签,可以查看实时作业的运行日志。 同时,您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。 实时作业监控:禁用节点后恢复 您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。 参考访问DataArts
调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。 分钟 小时 天 周 间隔时间 调度任务的间隔时间。 调度时间 设置调度任务的起始时间和结束时间。 父主题: 业务指标监控(待下线)
描述 1 菜单栏 运维管理的菜单栏,包括业务场景实例和我的订阅。 业务场景实例:展示当前用户的所有业务场景实例内容。 我的订阅:展示被当前用户设置订阅的业务场景信息列表。“我的订阅”较“业务场景实例”增加了“通知状态”信息。该信息展示了业务场景实例的运行结果是否被成功订阅,例如,发送告警邮件。
s/import 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表2 参数说明 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景:作业定义
页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“运营管理 > 流控策略”,进入到流量控制信息页面。 通过以下任意一种方法,进入“绑定API”页面。 在待绑定的流量控制策略所在行,单击“绑定API”。 单击策略名称,进入策略详情页面。在“绑定的API列表”页签中单击“绑定API”。
是否将选做Rowkey的数据同时写入HBase的列,默认否。 否 否 Rowkey分隔符 切分Rowkey为是时显示该参数。 分隔符,用于切分Rowkey,若不设置则不切分。例如:|。 否 | 开始时间 起始时间(包含该值)。格式为'yyyy-MM-dd hh:mm:ss', 支持dateformat时间宏变量函数。
启用SSL认证后,Kafka会将Kafka Broker连接地址视做域名不断进行解析,导致性能消耗。建议修改CDM集群对应的ECS主机(通过集群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka
Studio数据目录模块的“标签管理”页面添加标签,然后再回到此处设置相应的标签。添加标签的具体操作,请参见管理资产标签。 *描述 表的描述信息。 资产责任人 需输入DataArts Studio实例当前工作空间中的用户名。只有工作空间管理员或开发者、运维者角色的用户才可以设置为责任人。 数据连接类型 支持以下
textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。 支持删除,替换为其它字符串及不处理三种方式。 删除 换行符替换字符串 换行符处理方式设置为“替换为其他字符串”时,呈现此参数。 当换行符处理方式选择为替换时,指定替换的字符串。 - 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE
切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。 是 Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 | 起始时间 可选参数,起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
随机集群创建作业并执行接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
Yarn队列权限前,需要参考同步IAM用户到数据源将IAM上的用户信息同步到数据源上。 MRS Yarn队列权限的策略生效,需要配置YARN严格权限控制,即设置参数“yarn.acl.enable”为true,具体请参见参考:配置Yarn严格权限控制。 约束与限制 当前分配队列资源只支持MRS Yarn队列。队列权限管控只支持MRS
指定集群创建作业接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。