检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量参数即参数值是固定的参数,不需要重新配置值。例如“l
实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 实时处理作业可以配置节点级别的调度任
是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量参数即参数值是固定的参数,不需要重新配置值。例如“l
用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”,用户也可以选择自定义的独享队列。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,
name:脚本的名称,由您自行定义,例如取名为dlisql1。 type:脚本类型。 content:脚本的内容。 connectionName:脚本关联的连接名称。 database:脚本执行的时候,关联的数据库名称。 queueName:sql执行的时候,运行在dli的队列名称。
自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像,使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自己的自定义镜像,然后将镜像发布到SWR(容器镜像服务)中,最后在此选择自己生成的镜像,运行作业。 自定义镜像可以改变S
标识文件名 选择开启作业标识文件的功能时,需要指定启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识文件,作业挂机等待的时长,当超时后任务会失败。
对于pre_order_by的值,您可以进行如下修改: 删掉某可选的排序参数,则此排序参数不再参与排序。 修改自定义排序方式的排序参数为升序或降序方式,则此排序参数按照修改后的排序方式排序。 pre_order_by的值,不支持进行如下修改,否则会修改不生效或导致调用报错。 删掉某必选的排序参数,
根据需要,可以添加多个审核人。 更多操作: 进入数据指标的“配置中心 > 审核人管理”页面,可以对审核人进行管理。 图3 审核人管理 查找审核人 在审核人列表的右上方,输入所要查找的审核人名称,然后单击按钮,即可查找指定的审核人。 删除审核人 在审核人列表中,查找所要删除的审核人,
SQL作业/脚本运行时,设置的模板参数可以允许作业/脚本参数进行覆盖。 单击“保存”,对设置的配置项进行保存。 作业/脚本变更管理 在工作空间配置作业/脚本变更管理后,可以将工作空间A的作业/脚本的变更记录(新增、修改、删除)导出来,同时可以将导出的zip包(作业/脚本的变更记录)导入到工作空间B。
数据开发可以创建多少个作业,作业中的节点数是否有限制? 问题描述 数据开发中,该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。
数据目录组件有什么用? 数据目录的核心是通过元数据采集任务,采集并展示企业在工作空间范围内的数据资产地图,包括元数据信息和数据血缘关系。 元数据管理 元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
Studio上落地实现,包括流程落地和功能落地。流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。 数据治理方法论还有
操作场景 DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略,能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。 为了提供持续稳定的服务,您需要通过创建并选择流控策略,针对部
步至Hetu的权限。 同步到Hetu端的Ranger的策略命名格式为“catalog名_schema名+表名+列名”。如果Hetu端的Ranger上已有相同资源、名称的策略,则会导致同步权限至Hetu端的失败,此时需要手动清理Hetu端的Ranger上资源、名称冲突的策略。 创建hetu权限同步策略
如果您的业务量不断增长,已购版本无法满足您的业务需求,您可以选择升级版本。登录DataArts Studio控制台,找到需要升级的DataArts Studio实例,单击“升级”,然后根据页面提示购买更高规格的套餐。 版本场景概述 为了实现灵活的资源配置并提供轻量化的数据治理能力,DataArts Studi
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? 问题场景 创建API时,已打开“返回总条数”开关。当API对应的数据表数据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。
有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 父主题: 配置连接参数
授权成功后,则可以在“白名单信息”页签查看已授权的账号。 如果不再需要授权给其他账号,在此租户名称所在行的操作列,单击“删除”,将无需授权的租户账号删除。 另外,数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除。 相关操作 批量添加白名单:您可以在专享版的“开发API