检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRSSpark：执行MRS服务的Spark作业 MapReduce：执行MRS服务的MapReduce作业 MRSFlinkJob: 执行MRS服务的FlinkJob作业。 MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLISpark：执行DLF服务的Spark作业
时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，只需要修改资源引用的位置即可，不需要修改作业配置。关于资源的使用样例请参见开发一个DLI
发布API 本文将为您介绍如何发布数据服务中的API。 操作场景 为了安全起见，在数据服务中生成的API以及注册的API，都需要发布后才能对外提供服务。 前提条件 已调试成功待发布的API。 约束与限制 不支持单个或多个用户同时发布API到同一专享版集群，系统会提示“当前操作正在执行中，请稍后重试”。
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
如果仅选择了数据开发的脚本或作业目录，则数据服务的目录权限不受此策略影响。 数据服务（DLM） 选择需要授权的数据服务API的一级目录。 说明： 如果仅选择了数据服务的API目录，则数据开发的目录权限不受此策略影响。 数据架构（DS） 选择需要授权的数据架构的物理模型或逻辑模型。
对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规
查询连接详情（待下线） 查询指定连接的配置详情。 - - 修改连接（待下线） 编辑修改连接的配置。 - - 删除连接（待下线） 删除一个连接。 - - 导出连接（待下线） 导出zip压缩包格式的连接文件，包括所有连接的定义。 - - 导入连接（待下线） 将存放在OBS桶的连接文件导入到数据开发模块中，一次可以导入一个或多个连接。
关系到表的性能，需要格外引起注意。 非分区表桶数 = MAX(单表数据量大小(G)/2G*2，再向上取整，4) 分区表桶数 = MAX(单分区数据量大小(G)/2G*2，再后向上取整，1) 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数
取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时，网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。 前提条件 已在数据仓
关系到表的性能，需要格外引起注意。 非分区表桶数 = MAX(单表数据量大小(G)/2G*2，再向上取整，4) 分区表桶数 = MAX(单分区数据量大小(G)/2G*2，再后向上取整，1) 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数
单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，
哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制，请参考管理脱敏算法。 目标端配置 *数据源类型 选择存储脱敏后数据的数据源类型，支持的脱敏场景如表3所示。 *数据连接 选择已在管理中心组件创建的数据连接。若未创建请参考创建DataArts
灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 虚拟私有云 vpc1 DataArts Studio实例中的数据集成CDM集
账号是您访问华为云的责任主体，有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号，可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面，根据页面提示完成账号注册。 为了能够给您提供更好的云服务使
账号是您访问华为云的责任主体，有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号，可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面，根据页面提示完成账号注册。 为了能够给您提供更好的云服务使
灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 虚拟私有云 vpc1 DataArts Studio实例中的数据集成CDM集
sight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。 图1 选取分布列 由于分布列的选取，对于DWS/FusionInsight LibrA的运行非常重要，在CDM数据迁移到DWS/FusionInsight LibrA过程中，建议按如下顺序选取分布列：
关键说明： 图1中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接：建立Hive的数据连接创建的连接。 开发Hive SQL作业 Hive SQL脚本开发完成后，我们为Hive SQL脚本构建一个周期执行的作业，使得该脚本能定期执行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
