检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
供,不再作为数据目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传
使用Agent Agent功能待下线,无需配置。 - local_infile字符集 mysql通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。
API连接时支持为Spark SQL作业独立配置需要的资源(例如线程、内存、CPU核数并指定MRS资源队列等)。代理连接时不支持配置。 您需要先在数据安全组件中配置对应的队列(参考配置队列权限,)后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 数据库
部署者操作 部署者作为管理开发任务上线的人员,需要审批待发布任务,相关操作如下文所示。 部署者审批开发者提交的发布任务,审批通过后才能将修改后的作业同步到生产环境。 在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。
实时集成资源组关联工作空间 进行实时数据集成任务配置前,您需要将数据集成资源组与将要使用的DataArts Studio工作空间进行关联,以确保在配置实时集成作业时可以选到指定的计算资源组。 前提条件 已购买资源组,详情请参见购买数据集成资源组。 操作步骤 参考访问DataArts
套餐包 数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量及增量、实时数据集成。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。
数据集成配置 属性配置 否 其他客户端配置属性。 例如: 1. socketTimeout:配置Hive JDBC连接超时时间,单位为秒; 2. fs.defaultFS:配置HDFS元数据的NameNode URI地址; 3. hadoop.user.name:配置访问HDFS时的用户名。
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py
虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业
您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级
、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。例如: SQLServer默认端口:1433
企业模式角色操作 企业模式业务流程 管理员操作 开发者操作 部署者操作 运维者操作 父主题: (可选)升级企业模式工作空间
设置配额使用量阈值告警的操作方法如下所示: 在DataArts Studio实例卡片上,单击选择“更多 > 告警阈值”。 图1 告警阈值 配置告警阈值,取值范围在0-100之间,设置为0表示不告警。当配额使用量超出设置的告警阈值时,会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台,单击进入“主题管理
数据源认证及其他功能配置 访问标识(AK) 是 使用DIS Client节点发送消息至目标DIS通道时,创建目标通道的租户AK。 密钥(SK) 是 使用DIS Client节点发送消息至目标DIS通道时,创建目标通道的租户SK。 描述 否 支持添加该连接的相关描述。 父主题: 配置DataArts
数据库名称 是 配置为要连接的数据库名称。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 单次提交行数 否 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。
才能生效。 驱动文件 是 “驱动文件来源”选择“本地文件”时配置。不同类型的关系数据库,需要适配不同类型的驱动。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。默认1000。 连接属性 否
虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业
据时,可配置编码格式。默认utf8。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。默认1000。 单次提交行数 否 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如
进行数据开发配置,比如环境配置、调度身份配置、配置默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。 开发环境:所有操作 生产环境:只读操作 部署:增加了打包、查看发布项、查看发布项列表、查看发布包内容 环境信息配置:只读操作 部署者 无 查看发布包 查看发布项列表 发布包:只有部署者和管理者可以操作
标签中可以获取到域名和端口等信息。 数据源认证及其他功能配置 访问标识(AK) 是 OBS服务访问标识(AK)。 例如:HCXUET8G37MWF。 密钥(SK) 否 OBS服务访问标识对应的密钥(SK)。 父主题: 配置DataArts Studio数据连接参数