检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业关联的CDM集群删除后,如何快速修复? 可能原因 作业关联的CDM集群已删除。 解决方案 CDM集群被删除后,作业中的关联信息会保留原配置。用户只需在CDM中新建同名集群和作业,作业将使用新的同名CDM集群和作业,同时提示用户原CDM集群和作业将被替代。 限制条件: 该功能于1
Apache Kafka到MRS Kafka参数调优 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
问题现象 在配置作业算子参数时,在添加请求头中时,需要输入参数及参数值,如果该参数的参数值长度超过512个字符时,则不能继续输入,如下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。 在“参数值”里面引入变量名称,例如{para}。 图2 配置请求头参数 配置作业参数。
通过敏感数据管控为指定用户/用户组配置指定密级后,则用户/用户组在数据预览时仅能访问资产密级小于等于指定密级的字段。 值得注意的是,密级权限管控策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。未配置密级权限管控策略时,数据安全会预置一条
基线运维概述 基线运维功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 当前仅北京四、华南广州和上海一局点给用户开放使用。 基线运维功能支持用户通过配置基线任务,实现对任务运行状态及资源使用情况的监控;通过配置运维基线,保障复杂依赖场景下重要数据在预期时
查看权限报告 本章主要介绍如何查看资源配置权限策略及详情。 前提条件 已完成权限策略配置,未配置请参考配置资源权限。 查看策略及详情 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“权限报告”,进入权限报告页面。
享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 安全组 IPv6双栈支持 开启IPv6双栈后,集群内网IP支持IPv4和IPv6,可通过IPv4或IPv6内网地址访问集群。
行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 作业委托 当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
作业调度支持每月最后一天 场景描述 在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
您需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 数据库 选择数据库。MRS API连接方式下不支持选择数据库。 运行程序参数 配置运行参数。 举例如下: 参数配置为--queue,参数值配置为defaul
作业调度支持每月最后一天 场景描述 在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属
题。 终端协议 是 配置该参数前,请确保工作空间默认项设置中已配置作业告警通知主题。 通知方式选择“按责任人”时才需配置。 短信 邮件 电话 单击“校验联系方式”,系统会自动校验作业责任人信息是否已配置。如果作业责任人信息未配置,请前往终端订阅管理界面进行配置。 单击“查看订阅信
数据安全支持成员管理视图,支持查看当前工作空间内成员的权限,并进行角色/权限集管理。 前提条件 为成员添加或删除所在的角色/权限集前,已完成权限集或角色的配置,请参考配置权限集或配置角色。 约束与限制 仅DAYU Administrator、Tenant Administrator、数据安全管理员或者角色/