检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio各版本均可以满足使用要求。 操作流程如下： 准备工作，包括使用DataArts Studio前的准备、数据源准备、数据湖准备和认证数据准备。 创建数据迁移作业，将OBS数据迁移到DWS。 数据开发，包含创建DWS SQL脚本和开发作业。 创建DWS SQL脚本top_rating_movie（用于存放评分最高的Top10电影）
面。 在页面的中间栏位的最上方，选择一个需要导出的物理模型。 选择所需导出的表，单击列表上方的“导出”按钮，导出所选的关系建模表，建议导出对象选择为“表”。导出完成后，即可通过浏览器下载地址，获取到导出的xlsx文件。 图5 导出关系建模表 在界面中间栏位的最上方，依次选择其他模
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。
CDM有哪些优势？ 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。
参数 是否必选 参数类型 描述 resource_id 是 String 资源导出导入任务ID，通过导出资源或者导入资源返回内容获得。 obs_type 否 String 导出类型，技术报告：technology，业务报告：business，当导出质量报告时，该字段是必填项。 请求参数
以“fromJobConfig.”开头，具体可参见源端作业参数说明下相应的源端参数说明；对于目的端连接参数，则以“toJobConfig.”开头，具体可参见目的端作业参数说明下相应的目的端参数说明；对于作业任务参数，请参见作业任务参数说明下相应的任务参数说明。 value Object
此版本规格，执行调度批处理作业或者启动实时作业时就会提示作业节点调度次数/天超过配额。 [3] 技术资产数量：该规格指的是数据目录中表和OBS文件的数量，可以通过“技术资产数量增量包”进行扩容，如何购买请参考购买技术资产数量增量包。 [4] 数据模型数量：该规格指的是数据架构中逻
支持记录迁移和文件迁移 默认为记录迁移。仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时，才支持文件迁移。 当选择文件迁移时，需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。
downloadMap("url") 将IP与地址映射对象缓存起来并指定一个key值用于检索，例如“ipList”。 表达式：CommonUtils.setCache("ipList",HttpsUtils.downloadMap("url")) 取出缓存的IP与地址映射对象。 表达式：CommonUtils
调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/instances/detail?jobName={jobName}&minPlanTime={minPlanTime}&maxPlan
您可以将表1数据导入到DLI表中，然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中，然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件，然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流，DWS创建外表请参见创建外表。 您可以将表1数据保存在
Flink调试OBS桶 在进行Flink SQL作业调试时，调试OBS桶必须选择并行桶，可以在工作空间进行默认配置。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“Flink调试OBS桶”配置项。 配置Flink调试OBS桶。 单击“保存”，对设置的配置项进行保存。
创建一个DLI SQL脚本，以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句，单击“运行”，从OBS原始数据表中计算出10大用户关注最多的产品，将结果存放到top_like_product表。 INSERT OVERWRITE table
批量管理CDM作业 操作场景 这里以表/文件迁移的作业为例进行介绍，指导用户批量管理CDM作业，提供以下操作： 作业分组管理 批量运行作业 批量删除作业 批量导出作业 批量导入作业 批量导出、导入作业的功能，适用以下场景： CDM集群间作业迁移：例如需要将作业从老版本集群迁移到新版本的集群。
parallel 是 int 补数据实例的并行周期数，取值范围[1,5]。 设置同时执行的补数据实例数量，最多可同时执行5个实例。 depend_jobs 否 List<JobDTO> 参考表3。 is_day_granularity 否 Boolean 是否按照天粒度补数据，true表示是，false表示否。
Oracle到MRS Hudi参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。
重跑策略 从上一个检查点重跑 重新启动 输入数据路径 设置输入数据路径，系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 设置输出数据路径，系统支持从HDFS或OBS的目录路径进行配置。 表3 高级参数 参数 是否必选 说明 作业状态轮询时间（秒） 是 设置轮询时
iteration.transactions int 1000 每张表在重演数据时每次抽取的数据条数，值较大时，会使得内存升高并阻塞增量同步任务。 目的端优化 Hudi写入优化 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置B
IAM用户操作时报错“无xx权限”怎么办？ 可能原因 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常，IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色，另外也必须确保DAYU
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
