检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的插入行为操作。 新增:将文件记录直接插入指定的集合。 有则新增,无则替换:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录(找到多条匹配记录时,只会替换找到的第一条记录)。如果不存在,则添加新记录。 替换:使用指定的过滤键作为查询条件。如果在集合中找到匹配的
一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明:
此接口可以查询指定脚本的定义,包括脚本类型和脚本内容。 300 30 查询脚本列表 此接口用以查询脚本列表。 300 30 查询脚本实例执行结果 该接口用以获取脚本实例的执行状态和结果。 300 30 删除脚本 此接口用以删除指定脚本。 300 30 执行脚本 该接口用以执行指定脚本,脚本每执行一次,生成一个脚本实例。
CREATE_WHEN_NOT_EXIST:当目的端的数据库没有“tableName”参数中指定的表时,CDM会自动创建该表。 DROP_AND_CREATE:先删除“tableName”参数中指定的表,然后再重新创建该表。 toJobConfig.tableName 是 String
配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称,单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名,单击输入框后面的按钮可进入集合的选择界面。
无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。 只有IAM认证方式的API才支持白名单授权。 通过白名单授权将API授权给账号 使用IAM认证方式的API,必须将API授权后,才能进行API调用。 在DataArts Stud
一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 数据源认证及其他功能配置
资产信息 查询概要 指定字段采集概要 父主题: 数据目录API
storeFormat=textfile:关系型数据库迁移到Hive时,自动建表默认为orc格式。如果需要指定为textfile格式,可增加此配置。parquet格式同理,hive.storeFormat属性值指定为parquet格式即可。 fs.defaultFS=obs://hivedb:对接的MRS
CREATE_WHEN_NOT_EXIST:当目的端的数据库没有“tableName”参数中指定的表时,CDM会自动创建该表。 DROP_AND_CREATE:先删除“tableName”参数中指定的表,然后再重新创建该表。 toJobConfig.columnList 否 String
本章节介绍常用的EL表达式及示例。 表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。 例如,判断节点是否运行成功,可以使用如下判断条件,其中test为节点名称:
查询API仪表板数据详情。 2400 120 查询指定API仪表板数据详情 查询指定API仪表板数据详情。 2400 120 查询APP仪表板数据详情 查询APP仪表板数据详情。 2400 120 查询指定API应用调用TopN 查询指定API应用调用TopN。 2400 120 集群管理接口
String 用户组列表,用户组名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置)。例如:"userGroup1,userGroup2"。 users String 用户列表,用户名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置),例如:"user1,user2"。 sync_status
“读取方式”选择“JDBC”,“使用SQL语句”选择“否”时显示此参数。 填写该参数表示指定抽取的WHERE子句,不指定则抽取整表。如果要迁移的表中没有WHERE子句的字段,则会迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts
MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
40 创建数据密级 创建数据密级。 1800 20 根据指定的id查询数据密级 根据指定的id查询数据密级。 3600 40 删除指定的id的数据密级 删除指定的id的数据密级。 1800 20 根据指定的id修改数据密级 根据指定的id修改数据密级。 1800 20 批量删除数据密级
使用提供基础保障。 动态脱敏 在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到数据源服务,由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 数据水印 数据安全支持将水印
查询概要。 指定字段采集概要 指定字段采集概要信息接口。 血缘信息 表9 血缘信息 API 说明 无血缘关系表查询 无血缘关系表查询,请求参数type_names、classification、type_names、connection_names、query需至少指定一个。 血缘查询
*table*表示表名中只要有“table”字符串,就全部导出。 fromJobConfig.whereClause 否 String 指定抽取的Where子句,不指定则抽取整表,例如:“age > 18 and age <= 60”。 fromJobConfig.columnList 否 String
各类特殊字符,长度为1~128个字符。 主题名称 是 选择消息的主题,该主题已在SMN服务中创建好。 消息标题 否 自定义消息的标题,长度必须少于512个字符。 消息类型 是 选择消息的发送格式。 文本消息:按文本格式发送的消息。 JSON消息:按JSON格式发送的消息,用户可对不同的订阅者类型发送不同的消息。