检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动填入。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。
设置重名处理策略。 待还原的资产存储路径为备份资产中生成的文件路径。 您可在还原资产前修改备份路径下的backup.json文件,支持修改连接名(connectionName)、数据库名(database)和集群名(clusterName)。 图2 还原资产 单击“确定”。 父主题:
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作,才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示,具体操作请参考后续章节。
iam:permissions:revokeRoleFromGroup Security Administrator MRS/DWS数据连接Agent权限 系统进行权限同步时,需要该权限。 例如权限集权限同步、角色权限同步或者审批权限申请时,如果无此权限会导致操作失败。 MRS/DWS权限管理时必选
String 数据连接名称,只读,创建和更新时无需填写。 owner String 资产责任人。 create_by String 创建人。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 dw_id String 数据连接ID。 db_name
EIP服务:如果您为数据集成集群开通了公网IP,则会产生弹性公网IP服务费用,收费标准请参见EIP价格详情。 DEW服务:在数据集成或创建管理中心连接时,如果启用了KMS,则会产生密钥管理费用,收费标准请参见DEW价格详情。 在场景开发完成后,如果您不再使用DataArts Studio
主题域(业务报告有效)。 l3 否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String
Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。 配置权限集前,已参考授权dlg_agency委托为dlg_agency委托配置权限。 配置权限集前,已参考同步IAM用户到数据源将IAM上的用户信息同步到数据源上。 如果希望在权限配置时能够展示数据连接中数据库、
table2_name String 表2名称。 join_type String 关联类型。 枚举值: LEFT: 左外连接 RIGHT: 右外连接 INNER: 内连接 FULL: 全连接 join_fields Array of MappingJoinFieldVO objects on条件。
会失败。 当作业导入失败需要自动生成标签时,如果标签已存在且被锁定,则导入失败的作业不会添加上该标签。 在导入作业过程中,若作业关联的数据连接、dis通道、dli队列、GES图等在数据开发模块系统中不存在时,系统会提示您重新选择。 父主题: (可选)管理作业
主题域(业务报告有效)。 l3 否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String
String 集群id data_source_type 否 String 数据连接类型 connection_id 否 String 数据连接id connection_name 否 String 数据连接名称 workspace_id 否 String 工作空间id job_id
300000 全量阶段连接Mysql的socket超时时间,默认为5分钟。当Mysql负载较高,作业出现SocketTimeout异常时,考虑增大该值。 jdbc.properties.connectTimeout int 60000 全量阶段连接Mysql的连接超时时间,默认为1分
Studio工作空间模式,使用方便,但无法对数据开发流程和表权限进行强管控。 企业模式:企业模式下DataArts Studio数据开发组件以及对应管理中心组件数据连接支持设置开发环境和生产环境,有效隔离开发者对生产环境业务的影响。企业模式的相关介绍请参见企业模式概述。 企业项目 DataArts Stu
使用BULKLOAD方式导入数据时,是否清空数据,例如:“true”。 toJobConfig.delimiter 否 String 当选取多个列做rowkey时,连接多列的分隔符,例如:“|”。 toJobConfig.isRowkeyRedundancy 否 Boolean 是否将选做Rowkey的数据同时写入HBase的列。
否 String 表2名称。 join_type 是 String 关联类型。 枚举值: LEFT: 左外连接 RIGHT: 右外连接 INNER: 内连接 FULL: 全连接 join_fields 是 Array of MappingJoinFieldVO objects on条件。
依赖其它作业配置,参考表13 表11 Event数据结构说明 参数名 是否必选 参数类型 说明 eventType 是 String 选择对应的连接名称与topic,当有新的kafka消息时将会触发作业运行一次 配置为:KAFKA 事件类型,当前只支持监听DIS通道的新上报数据事件,每上报一条数据,触发作业运行一次。
依赖其它作业配置,参考表13 表11 Event数据结构说明 参数名 是否必选 参数类型 说明 eventType 是 String 选择对应的连接名称与topic,当有新的kafka消息时将会触发作业运行一次。 配置为:KAFKA 事件类型,当前只支持监听DIS通道的新上报数据事件,每上报一条数据,触发作业运行一次。
MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
table2_name String 表2名称。 join_type String 关联类型。 枚举值: LEFT: 左外连接 RIGHT: 右外连接 INNER: 内连接 FULL: 全连接 join_fields Array of MappingJoinFieldVO objects on条件。