检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
线。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回
DMS Kafka连接参数说明 连接DMS的Kafka队列时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的
eformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换,这个作业表示:将Oracle数据库的“SQOOP.CDM_20171016”表中数据,迁移到HDFS的“/opt/ttxx/1508115701746”目录中。
eformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换,这个作业表示:将Oracle数据库的“SQOOP.CDM_20171016”表中数据,迁移到HDFS的“/opt/ttxx/1508115701746”目录中。
然后再重新创建该表。 说明: 自动建表只同步列注释,表注释不会被同步。 自动建表不支持同步主键。 不自动创建 源端null值转换值 将源端null值转换为其他值。 TO_NULL TO_EMPTY_STRRING TO_NULL_STRING TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。
查询目的表和字段(待下线)。 21600 240 导出模型中表的DDL语句 根据模型ID导出指定表的DDL语句。 10 4 转换逻辑模型为物理模型 转换逻辑模型为物理模型,转换成功则显示转换后的目标模型信息。 10800 120 获取操作结果 获取批量操作的结果,如逻辑模型转物理模型和逆向数据库操作。
当匹配成功的内容等于设置值时,该节点执行失败。 节点名称 是 默认显示为SQL脚本的名称,支持修改。规则如下: 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 默认情况下,节点名称会与选择的脚本名称保持同步。
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力:
神通(ST)连接参数说明 连接神通(ST)数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 神通(ST)数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源
algorithm_type String 动态脱敏规则参数介绍,具体请参考用户指南手册中的“动态脱敏规则介绍”章节。 HIVE数据源动态脱敏算法 MASK 掩盖英文字符和数字 MASK_SHOW_LAST_4 保留后四位 MASK_SHOW_FIRST_4 保留前四位 MASK_HASH 哈希掩盖 MASK_DATE_SHOW_YEAR
是否写WAL,不写WAL能提升性能,但如果HBase服务宕机可能会造成数据丢失。 是 匹配数据类型 是否匹配类型,例如数据库的int类型列数据按照int类型转换为二进制写入HBase。 否 父主题: 配置作业目的端参数
种: MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HBase 连接MRS上的HBase数据源时,相关参数如表1所示。 当
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
{dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,HOUR)}")}},表示查找ts字段中大于时间宏转换后的值。 {'last_name': 'Smith'} 父主题: 配置CDM作业源端参数
在需要升级版本模式的实例卡片上,找到“模式切换”按钮并单击进入模式切换界面。 图2 模式切换按钮 在模式切换界面,您可以看到当前旧版本模式切换前后的对比和询价情况。如果您确认切换,单击右下方“切换”按钮,随系统提示进行升级即可。 图3 模式切换 版本模式升级完成需要约5分钟,升级过程
DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据
新建任务有如图2所示的两个入口。 图2 新建采集任务入口 配置基本参数,参考表1。 表1 基本配置说明 参数名 说明 任务名称 采集任务的名称,只能包含中文、英文字母、数字和下划线,且长度不能超过62个字符。 描述 为更好的识别采集任务,此处加以描述信息。描述信息长度不能超过255个字符。 选择目录
如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表2 参数说明 参数名 是否必选 参数类型 说明 name 是 String 作业名称,只能包含六种字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。作业名称不能重复。 nodes 是 List<Node> 节点定义,参考表3
需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到云搜索服务/Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 toJobConfig.createIndexStrategy 否 枚举 对于持续写入数据到Elast