检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费,套餐包暂不支持退订。本例中使用按需计费,完成后删除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts
在管理中心页面,单击“资源迁移”,进入资源迁移页面。 图1 资源迁移 单击“新建导出”,配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”,勾选导出的模块。 图3 勾选导出的模块 单击“下一步”,等待导出完成,资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果则
委托授予如下OBS权限策略,授权方法可参考授权dlg_agency委托章节。 obs:bucket:HeadBucket obs:bucket:CreateBucket obs:object:PutObject obs:object:DeleteObject obs:bucket:ListBucket
单表同步:支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步:支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。 分库分表同步:支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 实时同步任务配置
}, "data_format" : "Parquet", "obs_bucket" : null, "obs_location" : null, "configs" : "{}", "table_type"
"jar", "location": "obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar", "dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2
适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这种增量迁移方式,只追加写入文件,不会更新或删除已存在的记录。 关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景:源端数据源为文件类型(OBS/HDFS/F
objects 统计信息详情列表。 表5 StatisticForDetail 参数 参数类型 描述 id String 统计对象编号。 name String 统计对象名称。 call_num Integer 调用总量。 success_num Integer 成功调用量(取数成功)。
增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件
增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件
objects 统计信息详情列表。 表5 StatisticForDetail 参数 参数类型 描述 id String 统计对象编号。 name String 统计对象名称。 call_num Integer 调用总量。 success_num Integer 成功调用量(取数成功)。
质量评分维度。 l1 否 String 主题域分组(业务报告有效)。 l2 否 String 主题域(业务报告有效)。 l3 否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否
String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_info ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz
逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 measure 否 String 度量对象。 owner 是 String 指标责任人。 owner_department 是 String 指标管理部门。 destination
逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 measure 否 String 度量对象。 owner 是 String 指标责任人。 owner_department 是 String 指标管理部门。 destination
于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。 如需优化,请参见目的端数据源的相关说明文档。 父主题: 优化迁移性能
质量评分维度。 l1 否 String 主题域分组(业务报告有效)。 l2 否 String 主题域(业务报告有效)。 l3 否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术
资源位置 是 选择资源所在的位置,当前支持OBS和HDFS两种资源存储位置。HDFS当前只支持MRS Spark、MRS Flink Job、MRS MapReduce节点。 文件路径 是 当“资源位置”选择OBS时,文件路径选择OBS文件路径。 当“资源位置”选择HDFS时,文件路径选择MRS集群名称。
uris配置项。例如:thrift://host-192-168-1-212:9083 linkConfig.obsSupport 是 Boolean 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式: