检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<snapshotDir> [s0] hdfs dfs -createSnapshot test CDM通过HDFS Snapshot复制文件至MRS。CDM的作业配置: “源目录或文件”输入:/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入:/h
资源文件所在OBS路径,当类型为jar时,location为主Jar包所在路径。最多256个字符。示例:obs://myBucket/test.jar dependFiles 否 List<String> 主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。
large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到期后需要删除此集群,否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支持购买增量包,例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。
据追加写入。 shouldClearTable:写入数据前会清除目标表中数据。 whereClause:选择根据where条件删除时,需要配置“toJobConfig.whereClause”参数,CDM根据条件选择性删除目标表的数据。 toJobConfig.whereClause
0f31e884e0 workspace 工作空间id,获取方式请参见实例ID和工作空间ID。 调用批量数据迁移或实时数据接入API时无需配置。 调用数据开发API时,有多个DataArts Studio实例时必选。 只有一个DataArts实例时可选。不填写则默认查询defau
资源文件所在OBS路径,当类型为jar时,location为主Jar包所在路径。最多1023个字符。示例:obs://myBucket/test.jar dependFiles 否 List<String> 主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。
ID列表,ID字符串。 del_types 否 String 删除类型。 枚举值: PHYSICAL_TABLE: 是否删除数据库物理表,只针对能物化的表生效(配置此值则表示删除) 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。
查询集群的企业项目ID 查询指定集群的企业项目ID。 cdm_common 查询集群实例信息 查询集群实例信息。 cdm_common 修改集群 修改CDM集群配置。 cdm_common 重启集群 重启集群接口。 cdm_b 启动集群 启动集群接口。 cdm_b 停止集群(待下线) 停止集群接口。 cdm_b
Jar单任务作业中使用参数模板。 在脚本中引用脚本模板时,SQL语句的写法为@@{脚本模板}。 前提条件 已创建模板。如果模板还未创建,请参见配置模板进行创建。 引用模板案例 Flink SQL脚本可以引用脚本模板。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 右键单击脚本,选择“新建Flink
单实例下回收站中的权限集、动态脱敏策略和密钥分别最多保存1000条数据,超过1000条后会自动清理更早删除的数据。 数据还原操作时,如果“同名处理方式”参数配置为“名称添加时间戳”,则如果同名会在还原数据的原名称后添加时间戳信息(原名称_13位时间戳)。如果添加时间戳后总长度超过64,会对原名称进
createTime 是 Long 作业的创建时间。 startTime 否 Long 作业的启动时间。 endTime 否 Long 作业配置的结束时间。 lastInstanceStatus 否 String 作业最近一次运行实例状态,当jobType为BATCH时才有本字段。
择“原子指标”页签进入原子指标页面。 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始新建原子指标。 在新建原子指标页面,参考表1配置参数,然后单击“发布”。 图1 新建原子指标 表1 新建原子指标参数说明 参数名称 说明 *指标名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
V格式”。CSV格式的主要有以下使用场景: 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后,通常还可以配置以下可选子参数: 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5.使用正则表达式分隔字段 6.首行为标题行 7.写入文件大小
、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。 准备工作 添加审核人 管理配置中心 主题设计 主题设计 标准管理 新建码表并发布 新建数据标准并发布 关系建模 数仓规划:新建SDI层和DWI层两个模型 维度建模 维度建模:在DWR层新建并发布维度
业。 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示作业审批人,参考表4。 审批开关的配置请参见审批中心。 resources 否 List<JobResourceInfo> 如需替换资源,需要填写该字段,包含替换的资源名和资源类型和替换后的资源名。参考表5。
V格式”。CSV格式的主要有以下使用场景: 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后,通常还可以配置以下可选子参数: 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5.使用正则表达式分隔字段 6.首行为标题行 7.写入文件大小
第一次购买DataArts Studio实例或增量包时,可用区无要求。再次购买DataArts Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求
Studio与数据底座进行对接,用于数据开发与数据治理等活动。 数据集成 数据集成提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块,承担数据治理过程中的数据加工并业务化的功能,提供智能
有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心,数据开发是一个提供分析、设计、实施、部署及维护一站式数据解决方案,完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异,一站式满足从数据集成、数据清洗/转换、数据质量
用户组列表,用户组名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置)。例如:"userGroup1,userGroup2"。 users String 用户列表,用户名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置),例如:"user1,user2"。 sync_status