检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
于128个字符。 描述 否 脚本的描述信息。 选择目录 是 选择脚本所属的目录,默认为根目录。 如果脚本未保存,重新打开脚本时,可以从本地缓存中恢复脚本内容。 脚本保存后,在右侧的版本里面,会自动生成一个保存版本,支持版本回滚。保存版本时,一分钟内多次保存只记录一次版本。对于中间
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CD
相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理? 可能原因 相互依赖的几个作业,调度过程中某个作业执行失败。 解决方案 这种情况会影响后续作业,后续作业可能会挂起,继续执行或取消执行。 图1 作业依赖关系 这时请勿停止作业,您可以将失败的作业实
数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 图1 事务模式迁移 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。 父主题: 关键操作指导
数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用,具体价格请参考该服务的计费详情页。商用计费
数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 图1 事务模式迁移 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。 父主题: 数据迁移进阶实践
调试API 功能介绍 调试API。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/test 表1 路径参数 参数 是否必选 参数类型 描述 project_id
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
IAM认证方式的API调用前,需要调用IAM服务的获取用户Token接口获取Token,然后通过Token进行安全认证。 本章节以Postman工具为例,为您介绍如何使用API工具调用IAM认证方式的API,主要包含如下几步: 获取API信息:准备API关键信息,用于API调用。 获取Token:调用I
toJobConfig.beforeImportType 否 枚举 导入数据前,选择是否清除目的表的数据: none:写入数据前不清除目标表中数据,数据追加写入。 shouldClearTable:写入数据前会清除目标表中数据。 whereClause:选择根据where条件删除时,需要配置“toJobConfig
仅当配置“按表分区抽取”时,按表分区分片。 SAP HANA 支持按表字段分片。 不支持按表分区分片。 分库 每个后端连接一个子作业,子作业支持按主键分片。 NoSQL 分布式缓存服务(DCS) 不支持分片。 Redis 不支持分片。 文档数据库服务(DDS) 不支持分片。 MongoDB 不支持分片。 Cassandra
Administrator或Tenant Administrator账号可以在工作空间中创建自定义角色。 如何创建并通过自定义工作空间角色精细化授权IAM用户,可参考如何授权其他用户使用DataArts Studio。 约束与限制 由于鉴权缓存机制的限制,自定义角色的权限发生变更后,绑定该角色的工作空间成员权限不会
怎样查看质量规则模板关联的作业? 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
对于转储任务下载失败的记录可以查看记录。 单击“操作”列的,可以从OBS路径下载数据。 单击“操作”列的,可以删除已下载和转储的记录。 单击删除按钮,系统提示“清除后将不能下载该数据,是否清除?”,单击“确认”进行删除。 对搜索条件进行过滤 支持通过操作时间、作业名称、OBS路径、操作人、操作类型、任务状态进行过滤筛选。可以输入关键字进行模糊查找。
更多操作 修改:单击操作列的“修改”,可以修改已配置好的日历。 快选:快速选中本月的周一到周五 反选:对已选择的工作日进行反选 清除:对已选择的工作日进行清除 图2 修改调度日历 删除:单击操作列的“删除”,可以删除已配置好的日历。 父主题: 配置
resources and check YARN or Spark driver's logs for further information”,如何处理? 问题描述 执行SQL语句失败后,系统提示错误信息“Failed to create ThriftService instance,
Administrator或Tenant Administrator账号可以在工作空间中创建自定义角色。 如何创建并通过自定义工作空间角色精细化授权IAM用户,可参考如何授权其他用户使用DataArts Studio。 约束与限制 由于鉴权缓存机制的限制,自定义角色的权限发生变更后,绑定该角色的工作空间成员权限不会
EL表达式使用实例 通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。
对Hudi建表设置分区字段,多个值以逗号隔开。 - Hudi表压缩策略(是否开启写入压缩) 在线进行压缩,仅对MOR表生效。 是 Hudi表清除策略(保留提交数) 清除时保留的提交数。 1 Hudi表归档策略(最小保留提交数) 归档时保留的最小提交数。 1 Hudi表归档策略(最大保留提交数)
清空质量规则 功能介绍 清空表的质量规则。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/{table_id}/qualities 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项