值填写为:#{Loop.current[0]},即将数据集中每行数据的第一个数值遍历传递给子作业。 For Each节点举例如图1所示 。从图中可以看出,子作业“foreach”中的参数名为“result”,参数值为一维数组数据集“[['1'],['3'],['2']] ”的遍历
“确定”将维度删除。 删除弹框中的“删除物理表”勾选后,删除时将同步删除数据库里的物理表。 通过逆向数据库导入维度 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到维度目录中,使其变成维度。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。
ha1,aes128-sha1”。 127.0.0.1 用户名 选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用
DWS和POSTGRESQL连接类型。 描述 描述信息。支持的长度为0~600个字符。 通过逆向数据库导入逻辑实体 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到逻辑实体目录中,使其变成逻辑实体。 在数据架构控制台,单击左侧导航树中的“逻辑模型”,进入逻辑
购买,在控制台购买界面中系统会为您计算好所购买的套餐包的价格,您可一键完成整个配置的购买。 计费方式 计费说明 04 使用 指导您快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 购买并配置DataArts Studio
入口API算子的配置方法,详见配置入口API算子。 API目录 普通API 必选 普通API是执行数据查询操作的算子。普通API即已创建的数据API,编排API时您可以从API目录内拖拽一个普通API作为执行算子进行取数,并将请求参数或结果集作为变量传递下去。 普通API可参考配置方式生成API或脚本/MyBatis方式生成API进行创建。
引发内存溢出,在此场景下,可以考虑降低分片大小。 scan.snapshot.fetch.size int 1024 全量阶段抽取数据时,从Mysql侧单次请求抽取数据的最大条数,适当增加请求条数可以减少对Mysql的请求次数提升性能。 debezium.max.queue.size
选择此算法。 不支持。 dws字符型掩码 从start到end的位置脱敏成指定的字符。 仅当静态脱敏任务中源端、目标端数据源同为DWS,且执行引擎为DWS时才可以选择此算法。 支持配置开始位置、结束位置和掩码标志。 dws数值型掩码 从start到end的位置脱敏成指定的数字。
当为工作空间分配队列资源后,在数据开发组件在为作业节点配置队列资源时,可选择的队列为当前空间下已分配的队列资源。 当前支持在选择MRS Yarn队列时,从已分配的队列资源获取队列列表。如果未分配队列资源,则只支持选择root.default队列。 当为用户组/用户配置队列权限后,MRS队列权限管控由MRS
Cdm.0235 数据已全部消费完毕。原因:%s。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0236 从分区程序中检索到无效分区数。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0237 找不到连接器Jar包。
501 Not Implemented 服务器不支持请求的功能,无法完成请求。 502 Bad Gateway 充当网关或代理的服务器,从远端服务器接收到了一个无效的请求。 503 ServiceUnavailable 被请求的服务无效。 建议直接修改该请求,不要重试该请求。 504
图1 环境变量 具体应用如下: 在环境变量中已新增一个变量,“参数名”为sdqw,“参数值”为wqewqewqe。 打开一个已创建好的作业,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。
实例ID可参考如下步骤进行获取: 在DataArts Studio控制台首页,选择对应工作空间,并单击任一模块,如“管理中心”。 进入管理中心页面后,从浏览器地址栏中获取“instanceId”和“workspace”对应的值,即为DataArts Studio的实例ID和工作空间ID。 如
导入表到物理模型 在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。 在页面的中间栏位,从最上方的下拉列表中找到所需要的物理模型,或者从“数仓规划”选择一个物理模型单击进入,在主题目录中选中一个对象,然后单击“导入”。 在“导入表”对话框中,单击“下载关系建模导入模板”。
权限生效,然后可正常使用数据安全进行访问权限管理。 为dlg_agency委托授权 为dlg_agency委托授权时,应按照您的业务场景,从表1中选择所需的授权项或系统权限进行授权,其中授权项或系统权限二者选其一配置。 本例以MRS权限管理业务场景为例进行说明,则需要授予的权限为
Manager登录页面,登录FusionInsight Manager(登录用户名和密码找系统管理员获取)。 单击“集群”,在“概览”页签下,从右上方选择“更多 > 下载客户端”。 图2 下载客户端 弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”,下载客户端。 图3 下载集群客户端
取。请在生成后妥善保管。 图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从OBS迁移数据到DLI的任务,如图6所示。 图6 创建OBS到DLI的迁移任务 作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。
若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 脏数据表 否 SQL脚本中定义的脏数据表名称。 脏数据属性用户不能编辑,自动从SQL脚本内容中关联推荐。 DWS脏数据表的语法:with table_name或log into table_name 匹配规则 - 设置java正则表达式,匹配DWS
节点暂停运行的起始时间。 未运行任务数 节点暂停期间没有运行的任务数量。 运行位置 “运行暂停期间任务”的参数。 表示选择节点暂停运行后,恢复运行时的启动位置。 从暂停节点开始运行 从子作业第一个节点开始运行 处理并发数 “运行暂停期间任务”的参数。 表示选择任务处理的数量。 任务名称 “运行暂停期间任务”的参数。
记录节点,当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割,例如:“data.list”。 fromJobConfig.encodeType 否
您即将访问非华为云网站,请注意账号财产安全