检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,在“运维调度 > 作业监控”中,选择“批作业监控”页签。 勾选需要配置的作业,单击“通知配置”。 图1 创建通知配置 设置通知配置参数,单击“确定”完成作业的通知配置。 父主题: 数据开发
确定”即可。 表1 参数设置 参数名 参数设置 *策略名称 标识账号映射策略,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需账号映射策略。 *集群类型 无需选择,当前仅支持MRS集群。 *集群 选择对应的MRS集群。注意每个集群的每种映射类型下只能创建一个账号映射策略。
配置数据入湖检测规则(高级特性) 数据入湖检测规则可用于如下场景的实时敏感信息检测: 数据集成(离线作业)进行表数据迁移时的“敏感数据检测”,详见配置离线处理集成作业。 数据开发导入数据文件时的敏感数据自动实时检测。 数据安全敏感数据发现中的文件敏感数据实时检测,详见检测文件敏感数据(高级特性)。
索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。 表名:待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
表示此脚本被哪些作业版本引用。单击删除时,会删除对应的作业和这个作业的所有版本信息。 如果某一个待删除的脚本正在被作业关联,请确保强制删除脚本后,不影响业务使用。如果希望作业能继续正常使用,请前往作业开发页面,重新关联可用的脚本。 前提条件 删除脚本前,请确保该脚本未被作业使用。
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。 迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH(Cloudera Hadoop) HB
以为基线设置预警余量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的最晚完成时间,将基线承诺时间设置在基线上
Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 建议使用的组件版本既可以作为目的端使用,也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本,建议使用的版本: 1
DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? 问题描述 DataArts Studio执行调度时报错:作业中节点XXX关联的脚本没有提交的版本。 原因分析 该作业内的脚本还没有提交版本,就开始执行调度,导致执行调度报错。作业调度前必须保证作业内脚本都存在一个版本。
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? 问题场景 创建API时,已打开“返回总条数”开关。当API对应的数据表数据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。
查看作业依赖关系图 您可以通过查看作业依赖关系视图,直观查看该作业关联的上下游作业。 前提条件 已经在开发Pipeline作业的作业调度配置中设置了依赖作业,否则视图中仅能展示当前作业节点,无法展示具备依赖关系的上下游作业节点。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts
create_time String 表的创建时间。 table_size Integer 表的大小。 total_count Integer 当前查询条件下表的总记录数。 is_valid Integer 表是否合规。 extra_setting String 表的额外设置。 partitioned
e。 表1 MRS ClickHouse作为目的端时的作业参数 参数名 说明 取值样例 模式或表空间 单击输入框后面的按钮可选择模式或表空间。 schema 表名 输入或选择写入数据的目标表名。 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中
父逻辑实体 设置一个父逻辑实体。本模块的父逻辑实体、子逻辑实体表示一个继承的概念,公共使用的逻辑实体及属性在逻辑上可以提炼为一个逻辑实体的就是父逻辑实体, 子逻辑实体是在父逻辑实体的基础上增加了特有属性,父逻辑实体属性的修改会影响所有继承它的子逻辑实体。 标签 标签是用户自定义的标识,
使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。
对于pre_order_by的值,您可以进行如下修改: 删掉某可选的排序参数,则此排序参数不再参与排序。 修改自定义排序方式的排序参数为升序或降序方式,则此排序参数按照修改后的排序方式排序。 pre_order_by的值,不支持进行如下修改,否则会修改不生效或导致调用报错。 删掉某必选的排序参数,
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK 400 Bad Request 父主题: 权限管理接口
同步场景,支持的数据源请参见分库分表同步支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体同步场景,支持的数据源请参见整库同步支持的数据源类型。 因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 不同CDM集群支持的数据源程度不一样,以实际为准。
当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实