检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理文件水印 本章主要介绍如何进行文件水印相关操作。 对结构化数据文件(csv、xml和json)注入暗水印,水印内容不可见,需要进行水印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 约束与限制 结构化数据文件暗水
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
String 项目ID,获取方法请参见项目ID和账号ID。 id 是 String 脱敏策略id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是
在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源的“操作”列,单击“删除”,弹出“删除资源”页面。 单击“确定”,删除资源。 导入资源 当用户想要导入某个资源时,可以参考如下操作导入该资源。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源目录中,单击
现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业,此处也配置了定时任务,则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突,推荐您启用数据开发调度即可,无需配置CDM定时任务。 定时任务功能原理:采用Java Quartz定时器,类似Cron表达式配
参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如
数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的,且数据和程序之间具备非常强的依赖性,应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库,其以行和列的形
在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单击API名称查看API的完整信息,保存调用地址、请求方法和入参信息。 调用地址:专享版支持内网地址和外网地址(外网地址需要您在创建集群时绑定弹性IP),如果
rts Studio底层计算引擎配置的管理能力。为实现多角色协同开发,管理员可将相关用户加入到工作空间,并赋予DataArts Studio预设的项目管理员、开发者、运维者、访客等角色,其他账号也只有在加入工作空间并被分配权限后,才可具备管理中心、数据集成、数据架构、数据开发、数
单击“下一步”,进入“订阅配置”页面。 如果开启通知状态,需选择通知类型,并选择主题。通知类型有“触发告警”和“运行成功”两类,可根据实际业务场景选择。 单击“下一步”,进入“调度配置”页面。 调度方式分为“单次调度”和“周期调度”。单次统计选择“单次调度”即可。 单击“提交”,进入质量作业列表页面。 图5
本章节主要介绍环境变量的配置和使用。 使用场景 配置作业参数,当某参数隶属于多个作业,可将此参数提取出来作为环境变量,环境变量支持导入和导出。 简单模式和企业模式下,配置工作空间的环境变量的角色有所不同: 简单模式:工作空间的环境变量开发者和管理员都能创建或编辑环境变量。简单模式不区分开发和生产环境,环境变量是共用的,允许开发者修改。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。
传统周期调度依赖和自然周期调度依赖对比 数据开发当前支持两种调度依赖策略:传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖,只支持同周期或者大周期依赖于小周期,不支持小周期依赖于大周期。详细说明如下: 同周期依赖,依赖时间段范围为从当前批次时间往前推一个周期。 跨周期依赖,依赖时间段范围为上一个周期时间段内。
数据源和资源组网络不通如何排查? 问题描述 配置Migration实时集成作业时,检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
ret,可参考获取APP和API信息获取。 Method、Url:API的请求方法和调用地址,可参考获取APP和API信息获取。 注意如果入参中包含Path和Query参数,则需要将调用地址中的{path}变量修改为Path参数具体取值,Query参数取值以“?Query参数名=
项目ID,获取方法请参见项目ID和账号ID。 task_id 是 String 用户同步任务id。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token
进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,单集群无法连接
请谨慎修改。 此处的“最大抽取并发数”参数与作业配置管理处的“最大抽取并发数”参数同步,在任意一处修改即可生效。 前提条件 已创建CDM集群。 查看集群基本信息 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts
支持配置日期格式和掩盖范围。 掩码自x至y 掩码字符串第x至y位字符。 支持配置x和y。 保留自x至y 保留字符串第x至y位字符。 支持配置x和y。 掩码前n后m 掩码字符串前n后m位字符。 支持配置n和m。 保留前n后m 保留字符串前n后m位字符。 支持配置n和m。 加密 dws列加密