检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio与数据底座进行对接,用于数据开发与数据治理等活动。 数据集成 数据集成提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块,承担数据治理过程中的数据加工并业务化的功能,提供智能
连接名称。 type 是 String 连接类型。 params 否 Map<String,Stri ng> 连接参数,参数名称请参考每种类型的连接配置项说明,默认值为空。 响应参数 参数名 是否必选 参数类型 说明 taskId 是 String 任务ID,请调用查询系统任务接口获取导入状态。
表1 参数说明 参数名称 参数解释 APP secret 签名密钥,认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 string to sign 创建的待签字符串 假设APP secret为123456
单击左侧导航树中的“数据水印溯源”,进入数据水印溯源页面,在页面上方单击“新建”。 图1 创建数据水印溯源任务 在弹出的创建任务页面输入信息,参数配置请参考表1。 图2 创建数据水印溯源任务 表1 水印溯源任务参数描述 参数名 参数描述 任务名称 嵌入水印任务的名称,只能包含英文字母、数
api_specific_type_str 否 String API取数方式。 枚举值: API_SPECIFIC_TYPE_CONFIGURATION: 配置方式 API_SPECIFIC_TYPE_SCRIPT: 脚本方式 API_SPECIFIC_TYPE_MYBATIS: MyBatis方式
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云
描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 请求示例 查询资源详情 GET /v1/b384b
<snapshotDir> [s0] hdfs dfs -createSnapshot test CDM通过HDFS Snapshot复制文件至MRS。CDM的作业配置: “源目录或文件”输入:/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入:/h
描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 响应参数 表4 参数说明 参数名 是否必选 参数类型
描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 请求示例 查询资源列表 GET /v1/b384b
Jar单任务作业中使用参数模板。 在脚本中引用脚本模板时,SQL语句的写法为@@{脚本模板}。 前提条件 已创建模板。如果模板还未创建,请参见配置模板进行创建。 引用模板案例 Flink SQL脚本可以引用脚本模板。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 右键单击脚本,选择“新建Flink
件与OBS返回的MD5值进行校验。 toJobConfig.recordMD5Result 否 Boolean 当选择校验MD5值时,这里配置是否记录校验结果。 toJobConfig.recordMD5Link 否 String 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶。
发布API 本文将为您介绍如何发布数据服务中的API。 操作场景 为了安全起见,在数据服务中生成的API以及注册的API,都需要发布后才能对外提供服务。 前提条件 已调试成功待发布的API。 约束与限制 不支持单个或多个用户同时发布API到同一专享版集群,系统会提示“当前操作正在执行中,请稍后重试”。
管理API API版本管理 设置API可见 停用/恢复API 下线/删除API 复制API 同步API 全量导出/导出/导入API 父主题: 开发数据服务API
授权API调用 通过应用授权APP认证方式API 通过应用授权IAM认证方式API 通过白名单授权IAM认证方式API 父主题: 开发数据服务API
描述,长度不能超过255个字符。 directory 是 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 表4 DependPackage参数说明 参数名 是否必选
createTime 是 Long 作业的创建时间。 startTime 否 Long 作业的启动时间。 endTime 否 Long 作业配置的结束时间。 lastInstanceStatus 否 String 作业最近一次运行实例状态,当jobType为BATCH时才有本字段。
择“原子指标”页签进入原子指标页面。 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始新建原子指标。 在新建原子指标页面,参考表1配置参数,然后单击“发布”。 图1 新建原子指标 表1 新建原子指标参数说明 参数名称 说明 *指标名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
批量删除目录 功能介绍 批量删除服务目录。删除目录的同时会删除其下的所有子目录,不支持删除带有API的目录。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/servicecatalogs/batch-delete 表1 路径参数
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description