检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。
创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。
作业在每个工作空间的最大配额为10000，请确保当前作业的数量未达到最大配额。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户接口为例说明如何调用API。该API用于管理员创建IAM用户。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
因为此表达式只能直接获取当前作业里配置的参数的value，并不能获取到父作业传递过来的参数值，也不能获取到工作空间里面配置的全局变量，作用域仅为本作业。 而表达式${job_param_name}，既可以获取到父作业传递过来的参数值，也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
在“逆向数据库”对话框中配置参数。 表1 逆向数据库 参数名称 说明 所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 选择维度建模的逆向数据库。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中，需要先在DataArts Studio管理中心创建一个
数据库：默认选择SQL脚本“hive_sql”中设置的数据库，支持修改。 作业编排完成后，单击，测试运行作业。 如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/01/01至2021/01/25，每天2点调度一次作业。 最后我们需要提交版本，执行调度作业，实现作业每天自动运行。
Hive连接： MRS Hive连接中的用户是否配置了代理权限，若没配置代理，可参考参考：为MRS数据连接用户配置代理权限。 MRS SPARK连接： MRS SPARK连接中的用户是否配置了代理权限，若没配置代理，可参考参考：为MRS数据连接用户配置代理权限。 MRS SPARK数据连接
因为此表达式只能直接获取当前作业里配置的参数的value，并不能获取到父作业传递过来的参数值，也不能获取到工作空间里面配置的全局变量，作用域仅为本作业。 而表达式${job_param_name}，既可以获取到父作业传递过来的参数值，也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
（可选）在数据架构控制台，单击左侧导航树中的“配置中心”，在功能配置下选择是否开启“时间限定生成使用动态表达式”功能，默认关闭。 图1 功能配置 在数据架构控制台，单击左侧导航树中的“技术指标”，选择“时间限定”页签。 进入时间限定页面后，单击“新建”按钮。 在新建时间限定页面，参考表1配置参数，然后单击“发布”。
agency）完成，因此需要委托拥有IAM认证服务相关权限，具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限（二者选其一配置即可） IAM权限 系统获取用户或用户组、创建角色时，需要该权限。 例如用户同步时，如果无此权限会导致操作失败。 是
设置过滤条件类型。 业务定义 输入过滤条件的业务定义。支持的长度为0~600个字符。 表达式 通过函数和字段配置表达式。 描述 描述信息。支持的长度为0~600个字符。 基本参数配置完成后，单击“代码配置”，可以查看系统生成的伪代码。 单击“生成伪代码”，可以对已经生成的伪代码进行刷新。单击“复
数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。
在左侧主题树中选中一个主题，然后单击“新建”按钮，或者直接单击“新建”按钮。 在“新建事实表”页面，完成如下配置： 设置“基本配置”参数： 图1 事实表基本配置 表1 基本配置参数说明 参数名称 说明 *所属主题 单击“选择主题”，选择表所属的主题域分组、主题域和业务对象。 *表名称
html，页面如下图所示。 填入Key、Secret、方法名、请求协议、域名和url（认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全）。本示例从前端输入，仅用于演示，例如： 1 2 3 4 Key=4f5f626b-073
API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据： 云账号的用户名、账号名和项目ID。 创建一个CDM集群，并获取集群ID。 获取方法：在集群管理界面，单击CDM集群名称可查看集群ID，例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创建一个MyS
在新建维度之前，如果您尚未添加主题信息，请先参考主题设计添加主题信息。 在“新建维度”页面，根据页面提示配置参数。 “基本配置”和“物化配置”，设置如下： 图1 配置参数 表1 基本配置 参数名称 说明 *所属主题 下拉框中选择相应的主题。 *维度名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
否 String 路径过滤器，过滤类型为通配符时配置，用于过滤文件目录，例如：“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器，过滤类型为通配符时配置，用于过滤目录下的文件，支持配置多个文件，中间使用“,”分隔，例如：“*.csv
如果作业测试运行正常，单击右侧的“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 调度方式：本示例中选择“周期调度”。 调度属性：2022/02/09至2022/02/28，每天1点执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。 跨周期依赖：可以选择配置为自依赖或者
为空。 configuration 否 map <String,Object> 用户定义适用于此作业的配置参数，当type参数值为DLI SQL时，才支持此参数。当前支持的配置项列表请参考 conf参数说明。默认值为空。 description 否 String 描述，长度不能超过255个字符。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
