检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
间戳。 20180921145505 指标 输入迁移哪个指标的数据,或选择OpenTSDB中已存在的指标。 city.temp 聚合函数 输入聚合函数。 sum 标记 可选参数,如果这里有输入标记,则只迁移标记的数据。 tagk1:tagv1,tagk2:tagv2 父主题: 配置CDM作业源端参数
布,欢迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。 开放数据服务API接口,支持通过API进行数据服务开发。 商用
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如
查询所有集群的企业项目ID 功能介绍 查询当前项目下的所有集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
败。 start_time 否 Long 最近运行时间查询区间的开始时间,13位时间戳(精确到毫秒)。 end_time 否 Long 最近运行时间查询区间的结束时间,13位时间戳(精确到毫秒)。 limit 否 Integer 每页显示的条目数量,最大值为100。 offset
移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
导致两个作业的事务id冲突报错。 解决方案 调整DataArts Studio作业调度时间,保证同一时间只保留一个调度任务。 父主题: 数据开发
应用示例 数据集成应用示例 数据开发应用示例
ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且
服务韧性 DataArts Studio通过AZ故障容错、过载保护、备份恢复等技术方案,保障数据的持久性和可靠性。 关于DataArts Studio支持的备份信息,请参见备份管理。 父主题: 安全
查询单个资源权限策略 功能介绍 查询单个资源权限策略 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-resource/{policy_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Ranger权限访问控制 配置资源权限 查看权限报告 父主题: 统一权限治理
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts
说明: 购买非免费版DataArts Studio实例时,会默认包含一个数据集成CDM集群,此集群规格建议用于作为连接代理。如需用于数据迁移作业,请购买更高规格的批量数据迁移增量包,详情请参考购买批量数据迁移增量包。 计费方式 包年包月 当前DataArts Studio基础包仅支持包年包月计费方式。
在“变量”里面输入该变量para和变量值。该值的大小不能超过1024个字符。 图3 配置作业参数 按照上述方法就可以解决请求头参数值输入的长度问题。 父主题: 数据开发
码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。
账号是否有元数据查询的权限。 说明: 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 default 表名 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。
自然周期调度之同周期依赖原理 解释说明 即作业A依赖于作业B的相同调度周期的运行实例。周期单位包括分钟、小时、天、周、月这五种,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 同周期作业依赖关系全景图 分钟依赖分钟 规则:分钟是最小调度粒度,没有自然分钟周
原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$、#。 解决方案 重新命名。 父主题: 数据集成(CDM作业)
表1 MongoDB作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库 输入或选择数据库名称。单击输入框后面的按钮可以进入数据库的选择界面。 default 集合名 写入数据的集合名,单击输入框后面的按钮可进入集合的选择界面。 该参数支持配置为时间宏变量,且一