检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买配额扩充增量包前,您可以设置配额使用量阈值告警。当触发告警时,表明您应当购买配额扩充增量包,否则随着业务量增长,您的业务可能会受到影响。 设置配额使用量阈值告警的操作方法如下所示: 在DataArts Studio实例卡片上,单击选择“更多 > 告警阈值”。 图1 告警阈值 配置告警阈值,取值范围在0-10
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
周期调度依赖策略 传统周期调度依赖和自然周期调度依赖对比 传统周期调度 自然周期调度 自然周期调度之同周期依赖原理 自然周期调度之上一周期依赖原理 父主题: 数据开发进阶实践
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办?
删除脚本 当您不需要使用某个脚本时,可以参考如下操作删除该脚本。 删除脚本时会检查脚本被哪个作业引用,引用列表中显示“版本”,表示此脚本被哪些作业版本引用。单击删除时,会删除对应的作业和这个作业的所有版本信息。 如果某一个待删除的脚本正在被作业关联,请确保强制删除脚本后,不影响业
OCR 功能 OCR节点支持识别图片上的文字信息, 识别结果将存储到用户指定的OBS目录下。 OCR节点仅支持在华北-北京四使用。 参数 用户可参考表1和表2配置OCR节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”
前往监控 您可以通过作业目录树,快速跳转到该作业的监控界面,查看该作业的监控详细信息。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
购买配额扩充增量包前,您可以设置配额使用量阈值告警。当触发告警时,表明您应当购买配额扩充增量包,否则随着业务量增长,您的业务可能会受到影响。 设置配额使用量阈值告警的操作方法如下所示: 在DataArts Studio实例卡片上,单击选择“更多 > 告警阈值”。 图1 告警阈值 配置告警阈值,取值范围在0-10
管理文件水印 本章主要介绍如何进行文件水印相关操作。 对结构化数据文件(csv、xml和json)注入暗水印,水印内容不可见,需要进行水印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 约束与限制 结构化数据文件暗水
免费版:基于DLI的电商BI报表数据开发流程 示例场景说明 步骤1:数据准备 步骤2:数据开发处理 步骤3:服务退订
数据源安全组放通哪些端口可满足Migration访问? 问题描述 在打通资源组与数据源之间网络时,需要在数据源所属安全组放通资源组的网段访问对应端口,那么具体需要放通哪些端口? 解决方案 对于不同的数据源其使用的端口也不尽相同,具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况,仅供参考。
DataArts Studio是否支持修改时区? 问题描述 DataArts Studio是否支持修改时区,如果不支持应该如何处理。 解决方案 DataArts Studio实例暂不支持修改时区。 数据开发作业调度时可通过EL表达式适配当地时间,例如: #{DateUtil.format(DateUtil
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题: 数据集成(实时作业)
MongoDB连接迁移失败时如何处理? 问题描述 MongoDB连接迁移失败时如何处理? 解决方案 在默认情况下,userAdmin角色只具备对角色和用户的管理,不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时,用户需查看MongoDB连接中用户的权限信息,确保对指定库具备ReadWrite权限。
申请API授权 对于API调用者而言,如果API开发者未授权APP或IAM认证方式的API,则需要自行申请API授权,等待审批通过后才能进行API调用。 如果API开发者已完成授权APP或IAM认证方式的API给应用(详见通过应用授权APP认证方式API、通过应用授权IAM认证方
授权API调用 通过应用授权APP认证方式API 通过应用授权IAM认证方式API 通过白名单授权IAM认证方式API 父主题: 开发数据服务API
静态脱敏任务 管理脱敏算法 管理样本库 管理脱敏策略 管理静态脱敏任务 父主题: 敏感数据保护
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工
管理API API版本管理 设置API可见 停用/恢复API 下线/删除API 复制API 同步API 全量导出/导出/导入API 父主题: 开发数据服务API