检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。 cklink 数据库服务器 配置为要连接的数据库的IP地址或域名。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
M作业、离线作业和实时作业三种场景，支持的数据源情况如下： 数据集成（CDM作业）的数据连接在CDM集群中创建，CDM集成作业支持的数据源与CDM集群版本相关，详情请参见数据集成（CDM作业）支持的数据源。 数据集成（离线作业）的数据连接来自于管理中心中适用组件已勾选“数据集成”
文档。 配置任务属性。 表8 任务配置参数说明 参数 说明 默认值 执行内存 作业执行分配内存，跟随处理器核数变化而自动变化。 8GB 处理器核数 范围：2-32。 每增加1处理核数，则自动增加4G执行内存和1并发数。 2 并发数 作业执行支持并发数。该参数无需配置，跟随处理器核数变化而自动变化。
如何创建数据库和数据表，数据库对应的是不是数据连接? 问题描述 用户对于创建数据库和数据表，数据库与数据连接的关系不清楚，需要具体解释下，便于用户理解。 解决方案 数据库和数据表可以在DataArts Studio服务中创建。 数据库对应的不是数据连接，数据连接是创建DataArts
当选择“自定义镜像”时，请选择自定义的镜像名称，版本号系统自动展示。您可以前往容器镜像服务进行设置。 作业运行资源 否 8核32G内存 16核64G内存 32核128G内存 作业主类 否 该参数表示作业的Java/Scala主类。 Spark程序资源包 是 该参数表示Spark程序依赖的资源包。
作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。
执行Analyze语句可能会对Hive造成压力。 是 内部写队列内存最大值 当出现内存不足场景时，请酌情修改该参数，当参数过小时，会影响迁移速率。 取值范围是1-128，默认为空，不做限制，单位为MB，超出范围会设置为不限制。 16 内部转换队列内存最大值 当出现内存不足场景时，请酌情修改该参数，当参数过小时，会影响迁移速率。
支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户分析异常数据。并支持设置脏数据比例阈值，来决定任务是否成功。 数据架构：数据建模可视化、自动化、智能化 DataArts Studio数据架构践行数据治理方法论，将数据治理
部署者操作 部署者作为管理开发任务上线的人员，需要审批待发布任务，相关操作如下文所示。 部署者审批开发者提交的发布任务，审批通过后才能将修改后的作业同步到生产环境。 在企业模式中，开发者提交脚本或作业版本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。
DIS连接 介绍 通过DIS连接可以与DIS建立连接，并按照用户指定配置将DIS中的数据迁移到其他数据源。 连接样例 { "links": [ { "link-config-values": { "configs":
计费方式：当前仅支持套餐包。 增量包规格：请根据您的业务情况选择合适的增量包规格。 购买时长：表示此套餐包的有效时长。 自动续费：勾选自动续费前的复选框，可实现自动按月或者按年续费。购买时长为按月购买时，自动续费周期为1个月；购买时长为按年购买时，自动续费周期为1年。 单击“立即购买”，确认规格后提交订单。
Studio支持的数据源章节。 DataArts Studio对接数据源，即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据集成数据连接相互独立，使用场景各有不同。 管理中心的数据连接用于对接数据湖底座，DataArts Studio基于数据湖底座，提供一站式数据开发、治理和服务等能力。
运维者操作 运维者作为运维管理的负责人，需要对生产环境的作业、实例、通知、备份等进行统一管控，相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控，作业每次运行，都会对应产生一次作业实例记录。
当使用AK/SK方式认证时，使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。 20150907T101459Z Host 请求的服务器信息，从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口，https的默认端口为443。 使用AK/SK认证时必选。
企业模式业务流程 当前DataArts Studio企业模式，主要涉及管理中心和数据开发组件，业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员：管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者：
String 集群版本。 表7 ClusterDetailInstance 参数 参数类型 描述 flavor flavor object 节点的虚拟机规格，请参见flavor参数说明（查询集群列表时返回值为null）。 volume volume object 节点的磁盘信息，请参见vol
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖
行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标表类型不匹配导致，例如源端dli字段为string类型，目标端dws字段为varchar(50)类型，导致精度缺省，就会报：value too
参数名 说明 任务名称 采集任务的名称。 实例状态 实例（即采集任务）的状态。 成功 部分成功 执行中 失败 运行异常 暂停：因管理面升级，监控任务暂停，升级完成后监控继续执行。 调度方式 展示采集任务的调度状态，分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。
复制API 操作场景 您可以通过复制API功能，得到与原API配置相同的API。 前提条件 已创建API。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航栏选择服务版本（例如：专享版），进入总览页。 单击“开发API
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
