检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
停止作业 功能介绍 停止作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id
BizVersionManageVO object 业务版本管理,只读。 data_owner String 数据所有者。 data_owner_list String 数据所有者集合。 data_department String 数据域。 path String 路径信息。 level Integer 层级信息。
进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 单击脚本目录中的,选择“显示复选框”。 图1 显示脚本复选框 勾选需要解锁的脚本,单击 > 批量解锁。弹出“解锁成功”提示。 图2 批量解锁 父主题: (可选)管理脚本
添加通知配置 通过添加通知配置,可以快速创建作业的通知配置信息。右键单击作业名称,单击“添加通知配置”,此通知配置为作业的新增配置,详细指导请参见配置通知。 如果要对作业已有通知配置进行修改,请进入通知管理页面,按照配置通知指导进行配置修改。单个作业跳转到通知管理页面后,会对该作
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“调度日历配置”。 单击“新建”,进入创建调度日历页面。 图1
SQL和Impala SQL脚本可以查看右侧的数据表,单击表名前面的单选框,可以查看该数据的列名、字段类型和描述。 支持通过“责任人”和“更新时间”进行过滤查询,方便快速过滤出最近更新的脚本。 脚本开发支持细粒度权限管控,在数据安全模块对数据开发脚本目录权限管控策略进行配置。 脚本开发的使用流程如下:
个文件,默认为|。 fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“false”时,上传到OBS的对象使用的对象名,包含query参数。 fromJobConfig
名,还需确认订阅的状态是“已确认”。 SMN通道异常。可通过在SMN界面中给自己的主题直接发送消息,判断能否收到SMN的通知。 父主题: 数据开发
当用户选择MongoDB连接迁移失败时,用户需查看MongoDB连接中用户的权限信息,确保对指定库具备ReadWrite权限。 父主题: 数据集成
月的作业,不支持建立依赖关系。 解决方案 如果这2个作业是周依赖周或者月依赖月的作业,可以把这2个作业放到同一个画布中再运行。 父主题: 数据开发
节点状态为成功,为什么日志显示运行失败? 问题描述 节点状态为成功,日志显示运行失败。 解决方案 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如
离线处理:对已收集的大量数据进行批量处理和分析,这些任务通常是在计算资源和存储资源方面经过优化,以确保高效的数据处理和分析。这些任务通常是定时(例如每天、每周)执行,主要处理大量历史数据,用于批量分析和数据仓库。 实时处理:对源源不断产生的新数据进行实时处理和分析,以满足业务对数据的即时性需求
性能调优参数配置 性能过慢处理方案 父主题: 实时处理集成作业开发
步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。 父主题: 贸易数据极简上云与统计分析
创建组合识别规则 功能介绍 创建组合识别规则 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/combine 表1 路径参数 参数 是否必选 参数类型 描述 project_id
修改规则分组接口 功能介绍 修改规则分组接口 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/data-classification/rule/group/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
删除规则分组接口 功能介绍 删除规则分组接口 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/group/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述
n的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有B