检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题: 购买并配置DataArts Studio
配置了SMN通知,却收不到作业失败告警通知? 问题描述 配置了SMN通知,作业失败告警通知没有收到。 如图,在“运维调度 > 通知管理”中配置了作业异常/失败的SMN通知,但却收不到作业失败的告警通知。 图1 通知管理 解决方案 此时可按以下步骤依次排查: 确认失败作业为调度中的
查询角色对一组库、表的可配置操作权限信息 功能介绍 查询角色对一组库、表的可配置操作权限信息。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-sets/datasource/role/batch-actions
(可选)升级企业模式工作空间 企业模式简介 创建企业模式工作空间 企业模式角色操作 父主题: 购买并配置DataArts Studio
作业监控”中,选择“批作业监控”页签。 勾选需要配置的作业,单击“通知配置”。 图1 创建通知配置 设置通知配置参数,单击“确定”完成作业的通知配置。 父主题: 数据开发
企业账号如何完成实名认证 实名认证信息提交后,请耐心等待审核结果,最长3个工作日内完成审核。 实名认证通过后需要40分钟才能生效。 父主题: 购买并配置DataArts Studio
供,不再作为数据目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 约束与限制 仅管理员角色的用户支持管理审批人,可新建和删除审批人。 审批管理 用户可在审批中心页面,查看自己提交的申请及进度,查看
作业配置了每日调度,但是实例没有作业运行调度记录? 问题描述 作业配置了每日调度,但是实例没有作业运行调度记录。 原因分析 原因1:确认作业是否启动调度,如果没有启动,不会进行调度。 原因2:实例查询时间区间过大,如果配置有依赖作业或者自依赖,查看历史作业实例是否因为依赖失败,导致等待运行,没有生成新作业实例。
新版控制台首页,从功能组件入口升级为集任务处理、资源监控和场景学习于一体的一站式数据工作台,全面为您提升生产效率。 图2 旧版控制台首页 图3 新版控制台首页 父主题: 购买并配置DataArts Studio
系统弹出“新建分类”对话框,填写相关配置,完成创建分类规则。支持按模板创建(内置)规则和自定义规则两种方式。 图1 配置分类规则 表1 配置分类规则参数说明 配置 说明 分类类型 即规则所属分类,支持内置(按模板添加)和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不
不能存在中文字符)。 说明: 此处上传的私钥文件应和主机上配置的公钥是一个密钥对,详情请参见密钥对使用场景介绍。 密钥对密码 是 如果密钥对未设置密码,则不需要填写该配置项。 密码 是 “登录方式”为“密码”时,显示该配置项。 主机的登录方式为密码时,填写主机的登录密码。 主机连接描述
选择“作用范围”,即自定义策略的生效范围,根据服务的部署区域选择,这里我们要授予的是IAM查询指定条件下的委托列表的权限。因IAM是全局级服务,所以作用范围选择“全局级服务”。 “策略配置方式”选择“可视化视图”。 在“策略内容”下配置策略。 选择“允许”。 选择“云服务”为“统一身份认证服务”。
删除:在“数据密级”页签,勾选不需要的分级,单击左上角的“删除”。 调整优先级:在“数据密级”页签,单击相应分级后的上移(提高优先级)和下移(降低优先级)。 父主题: 配置数据安全策略(待下线)
连接提交SQL作业、Shell脚本、Python脚本等任务的同时运行上限为200。 数据集成配置 安全模式认证 是 是否安全模式认证。 https访问 是 开启https访问。 Https协议提升了集群安全性,同时集群性能会下降。 连接超时时间 否 连接超时时间,单位ms。默认10000。
只支持配置connectionTimeout,socketTimeout和idleConnectionTime。 常见配置举例如下: socketTimeout: Socket层传输数据的超时时间,单位为毫秒。 connectionTimeout: 建立HTTP/HTTPS连接的超时时间,单位为毫秒。
数据集成配置 数据库名称 是 要连接的数据库。 单次请求行数 否 指定单次请求获取的行数。默认1000。 连接属性 否 可选参数。单击“添加”可增加多个指定数据源的JDBC连接器的属性(属性名称和值),参考对应数据库的JDBC连接器说明文档进行配置。 引用符号 否 配置引用符号,例如"。
Schema名名和表名,其中表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图8 Hudi目的端配置项 表6 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径,每张
实时集成资源组关联工作空间 进行实时数据集成任务配置前,您需要将数据集成资源组与将要使用的DataArts Studio工作空间进行关联,以确保在配置实时集成作业时可以选到指定的计算资源组。 前提条件 已购买资源组,详情请参见购买数据集成资源组。 操作步骤 参考访问DataArts
供,不再作为数据目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传
数据库名称 是 配置为要连接的数据库名称。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 单次提交行数 否 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。