检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive的版本。根据服务端Hive版本设置。 HIVE_3_X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为a
Studio数据集成作业。 本例中，需要创建如下三类集成作业： OBS到MySQL迁移作业：为方便演示，需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。 MySQL到OBS迁移作业：正式业务流程中，需要将MySQL中的原始样例数据需要导入OBS中，并标准化为点数据集和边数据集。
存量用户调测使用，专享版数据服务需要购买专享版集群增量包并在集群中管理API。 数据服务共享版当前仅限于华东-上海一、华北-北京四、华南-广州的存量用户调测使用，受限于服务稳定性和生命周期策略，不可用于生产环境。 专享版数据服务常用于企业内部系统解耦，各服务部署在云上的VPC内，服务之间以RESTful
品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。 ORACLE数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。
数据准备与同步： 数据湖服务创建完成后，您需要按照项目规划（例如数据开发需要操作的库表等），分别在开发和生产环境的数据湖服务中，新建数据库、数据库模式（仅DWS需要）、数据表等。 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），使用两套集群资源，两套环
create table drop table into outfile 如果SQL语句过长，会导致请求过长下发失败，继续创建作业系统会报错“错误请求”，此时您需要简化或清空SQL语句，再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间
Oracle元数据采集前，需要确保数据连接中的数据库用户需要有数据表的读写权限以及对元数据的读取权限。详见ORACLE数据连接参数说明中的用户授权指导。 受MRS集群限制，默认情况下元数据采集任务无法直接采集到Hive分区表的元数据。 如果需要采集Hive分区表的元数据，需要在MRS集群内的
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称
”后，状态显示为“已发布”。 选择审核人时，系统支持选择多个审核人，全部审批通过后，状态才会显示为已发布。如果有任意一个人驳回，则状态为已驳回。 可以参照步骤3~步骤5，完成其他业务指标的创建和发布。 完成所有业务指标的新建之后，需要等待审核人员审核。 审核通过后，业务指标创建完成。
技术支持人员。 基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如：sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间，单位毫秒。 默认值为：600000。 KMS密钥
- OBS支持 是否支持OBS存储，如果hudi表数据存储在OBS，需要打开此开关。 是 访问标识（AK） “OBS支持”设置为“是”时，呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
单击选中待移动的作业或作业文件夹，拖拽至需要移动的目标文件夹松开鼠标即可。 方式三：批量选中进行移动。 批量选择待移动的多个作业或作业文件夹，移动到目标文件夹下。 作业移动时，支持将作业移动到翻牌目录下。 移入翻牌目录的作业支持移出。 业务日期模式空间下，移动作业到翻牌目录时，系统会校验偏移量，偏移量
RS集群，CDM会自动填充下面的鉴权参数。 用户名：选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。 从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 密码：访问MRS Manager的用户密码。 认证类型：访问MRS的认证类型。
数据目录支持采集哪些对象的资产？ 数据目录目前支持采集数据湖的资产，例如MRS Hive、DLI、DWS等，除此之外也支持采集以下数据源的元数据： 关系型数据库，如MySQL/PostgreSQL等（可使用RDS类型连接，采集其元数据） 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS
此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。 如果使用企业模式，您还需要注意以下事项： 由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于
选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean
SQL的算子脚本参数支持参数预览。 表4 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
创建Oracle连接 表1 Oracle连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。
DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统，与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 是 使用Agent Agent功能待下线，无需配置。 - local_infile字符集 MySQL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
