检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ignore_obs_monitor 否 boolean 是否忽略obs监听。 node_name 否 String 指定的节点名。当retry_location选择specified_node指定重跑节点。
OBSManager:OBS路径管理,包括创建和删除路径。
OBSManager:OBS路径管理,包括创建和删除路径。
时间宏变量使用解析 在创建表/文件迁移作业时,CDM支持在源端和目的端的以下参数中配置时间宏变量: 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符
时间宏变量使用解析 在创建表/文件迁移作业时,CDM支持在源端和目的端的以下参数中配置时间宏变量: 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符
审计数据访问日志 数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录,包括时间、用户、操作对象、操作类型等信息。通过这些日志,可以快速进行数据操作审计,更好地做到数据安全管控。
说明: 当目的端为OBS数据源时,仅支持配置二进制格式。 CSV格式 JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。
表1 配置目录权限策略参数说明 参数名 参数描述 *策略名称 标识目录权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。 授权内容 数据开发(DLF) 选择需要授权的数据开发脚本和作业的一级目录。
POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/myJob/export 响应示例 成功响应 HTTP状态码 200 导出文件名为DLF_myJob.zip,解压后文件结构如下: jobs ├─myJob.job scripts ├─CS_PROCESS_TRIP.script
建议使用的组件版本既可以作为目的端使用,也可以作为源端使用。
响应是一个压缩文件,文件名为jobs.zip,解压后文件结构如下: jobs +---job_batch | dws_sql.script | job_batch.job \---job_stream job_stream.job job_batch.job
配置目的端作业参数,根据目的端数据类型配置对应的参数,具体如表2所示。 表2 目的端作业参数说明 目的端类型 说明 参数配置 OBS 支持使用CSV或二进制格式批量传输大量文件到OBS。 参见配置OBS目的端参数。 MRS HDFS 导入数据到HDFS时,支持设置压缩格式。
URI URI格式 POST /v1/{project_id}/jobs/{job_name}/instances/{instance_id}/stop 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目
URI URI格式 PUT /v2/{project_id}/factory/jobs/{job_name}/rename 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。
POST /v2/b384b9e9ab9b4ee8994c8633aabc9505/factory/jobs/myJob/tags { "tag_names": ["tag1"] } 清空作业myJob的所有标签。
原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$、#。 解决方案 重新命名。
进行授权时,授权对象名(库表列名)当前仅支持包含数字、英文、下划线、中划线和通配符*,暂不支持中文以及其他特殊字符。 MRS Hive授权时,数据库可修改为URL,用于为存算分离场景下的OBS路径授权。
响应参数 无 请求示例 DELETE /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/joba 打开审批开关的情况下,删除作业的示例。
l3 String 业务对象。 table_name String 数据表对象名,格式为:数据连接.库.模式表/表。 l1_score Double 主题域分组评分。 l2_score Double 主题域评分。 l3_score Double 业务对象评分。
URI URI格式 POST /v1/{project_id}/jobs/{job_name}/run-immediate 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。