检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
onfig.numExtractors”(抽取并发数)为“5”,则每个分片2个文件。 SIZE:按文件大小分割。注意这里不会将文件做切分来实现均衡。例如:有10个文件,9个10M,1个200M,在并发任务数中指定“throttlingConfig.numExtractors”(抽
管理中心典型场景教程 新建DataArts Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题: 管理中心
单击“确定”完成委托创建。 参考:配置委托权限 将账号的操作权限委托给DataArts Studio服务后,需要配置委托身份的权限,才可与其他服务进行交互。 为实现对权限较小化的安全管控要求,可根据作业中的节点类型,以服务为粒度,参见表1配置相应的服务Admin权限。 也可精确到具体服务的操作、资源以
进入“开发API > API目录”或“开发API > API管理”页面,在待修改的API所在行,选择“更多 > 设置可见”。 在弹出的窗口中单击添加,填写项目ID并确认,即可设置此API在服务目录中额外对以该项目下的用户可见。 项目ID可以参考如下步骤进行获取: 注册并登录管理控制台。
Clien作业样例1 图2 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合,根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程,根据您的实际业务需要,开发您自己的作业。EL表达式用法可参考EL表达式。 如图3所示,Rest Clien
Clien作业样例1 图2 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合,根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程,根据您的实际业务需要,开发您自己的作业。EL表达式用法可参考EL表达式。 如图3所示,Rest Clien
数据源安全组放通哪些端口可满足Migration访问? 问题描述 在打通资源组与数据源之间网络时,需要在数据源所属安全组放通资源组的网段访问对应端口,那么具体需要放通哪些端口? 解决方案 对于不同的数据源其使用的端口也不尽相同,具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况,仅供参考。
FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL:
标签:选择所需的标签。标签是在数据地图组件中定义的标签。如果未使用数据地图组件,则标签功能不生效。 描述:对此自定义模板进行简单说明。 定义关系:输入SQL语句,实现对数据的查找。其中,${Schema_Table1}表示质量/对账作业中所选的表,${Column1}为${Schema_Table1}中
FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL:
ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据,经过数据准备对数据预处理后,导入到目标数据源。 目标端是DWS的ETL Job节点,不支持使用委托进行调度,建议采用兼容性更佳的公共IAM账号方式进行调度,详见配置调度身份。 参数 用户可参考表1,表2和表3配置ETL
因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。 申请权限 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。
FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL:
YASHAN连接参数说明 连接YASHAN时,相关参数如表1 YASHAN连接参数所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 YASHAN连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的
e_2作业节点加工又分别生成了wk_03、wk_04和wk_05的表数据。 图1 数据血缘关系示例 DataArts Studio数据血缘实现方案 数据血缘的产生: DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度
FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL:
FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL:
FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: