检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
您可以参考下面的样例代码： String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient httpClient = HttpClients
新建指标 管理所有业务指标，包括指标的来源、定义等，使用目录维护业务指标。 注意，数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的，不支持交互。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控
在作业的“操作”列，支持作业级别的恢复。停止操作请参见实时集成作业监控：恢复。 6 查看作业实例状态 单击作业名称前方的，查看该作业下的子作业ID、源端数据源、目的端数据源、异常信息等内容。 7 查看作业详细信息 单击作业名称，支持查看该作业的基本信息、监控信息、日志信息。查看作业详
通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 数据源认证及其他功能配置 用户名 是
企业模式简介 为方便不同安全管控要求的用户生产数据，DataArts Studio为您提供简单模式和企业模式两种工作空间模式。本文从简单模式工作空间与企业模式工作空间物理形态、对开发行为的影响等多个维度为您介绍两种模式工作空间的区别。 目前，仅管理中心和数据开发组件支持企业模式。
配置DataArts Studio企业模式环境隔离 管理中心的环境隔离，当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前，应已创建DLI的数据连接。
配置行级访问控制 在业务开发过程中，存在多个开发者共同访问和维护同一张DWS表的场景，需要针对不同开发者设置不同行数据的访问权限。在这种场景下，您可以配置行级访问控制策略，为不同开发者按照行数据进行授权。 在数据安全组件新建行级访问控制策略后，通过策略同步，会将行级访问控制策略同
50个），文件名之间默认使用“|”分隔，您也可以自定义文件分隔符，从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个
50个），文件名之间默认使用“|”分隔，您也可以自定义文件分隔符，从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个
单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下，打开本地命令提示符框，输入如下命令，在本地生成已下载SDK包的SHA256值，其中，“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名，请根据实际情况修改。 certutil
-dd HH:mm:ss:SSS"),"yyyy-MM-dd HH:mm:ss")} 举例 以作业调度计划时间的前一天时间作为子目录名称，生成一个OBS路径，EL表达式如下： #{"obs://test/"+DateUtil.format(DateUtil.addDays(Job
使用前自检概览 当您在使用Migration服务创建实时同步任务前，需要预先检查是否做好了准备工作，以满足实时同步任务的环境要求。 表1 自检项 自检项 说明 需要执行的准备工作 为云账号及权限准备 准备华为账号，创建用户并授权使用Migration。 参考注册华为账号并开通华为云。
其中MRS Yarn队列可配置队列属性，主要应用于数据开发服务中的任务管理。实时队列用于运行实时作业，离线队列用于运行批处理作业，默认即不区分队列的作业类型。 图3 MRS Yarn队列详情 图4 DLI队列详情 为分配的队列资源进行授权。 MRS Yarn队列 在MRS Ya
设置为page_index，也支持通过#page_index获取。 page_index 数据路径 数据在json中的位置，默认为根路径，不填则取默认。 student 数据总数 数据总数，支持填写固定值，也支持从接口中获取。 固定值，例如：100000。 支持从返回的结果中，获取数据总量。例如：page
MRS ClickHouse连接参数说明 连接MRS ClickHouse时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。
管理中心API概览 表1 管理中心API类型 类型 说明 数据连接管理 数据连接管理类型接口。 购买实例 购买实例类型接口。 工作空间管理 工作空间管理类型接口。 实例管理 实例管理类型接口。 工作空间用户管理 工作空间用户管理类型接口。 数据源元数据获取 数据源元数据获取类型接口。
单击CDM集群列表中集群名称列的按钮开，可查看该CDM集群的详情信息，例如可用区、虚拟私有云、子网和安全组等网络相关信息，以及规格、集群ID、关联的工作空间等信息。 图1 查看集群详情信息 您可以单击CDM集群列表中操作列的“关联工作空间”，在弹窗中勾选或去勾选该CDM集群关联
网络打通 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题： 数据集成（实时作业）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
