检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IAM用户操作时报错“无xx权限”怎么办? 可能原因 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色,另外也必须确保
在选择资源包之前,您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。
打开作业“test”,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图3 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 父主题: 配置
permissions objects 申请权限详情列表 proposers Array of proposers objects 申请人详情列表 表7 permissions 参数 参数类型 描述 column_name String 列名称 database_name String 库名称
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带的
创建CDM集群 CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务,各集群之间相互隔离,不可相互访问。 CDM集群可用于如下场景: 用于创建并运行数据迁移作业。 作为管理中心组件连接数据湖时的Agent代理。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务时
通过应用授权APP认证方式API 应用定义了一个API调用者的身份。对于使用APP认证方式的API,必须在创建APP类型应用并将API授权给应用后,才能获得认证信息以用于API调用。 一个APP认证方式的API可以授权给多个APP类型的应用,多个APP认证方式的API也可以授权给同一个
模式 是 默认选择SQL脚本中设置的数据库,支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。
>= '2018-10-10 00:00:00' and _timestamp < '2018-10-11 00:00:00' 或者 _timestamp between '2018-10-10 00:00:00' and '2018-10-11 00:00:00' 如果源端数据库是
表2 Hive与Hetu的策略映射关系 Hive Hetu 资源映射关系 hive数据源 Hetu Catalog hive数据库 Hetu Schema hive表 Hetu表 hive列 Hetu列 权限映射关系 select select、use update insert、
打开一个已创建好的作业,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量,作业参数的作用范围为当前作业。
Number参数对应数据库中int、double、long等数值数据类型,String参数对应数据库中char、vachar、text等文本数据类型。 是否必填、允许空值以及默认值。 如果设定为必填,则API在访问时,必须传入指定参数。
说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果调度CDM迁移作业时使用了参数传递,不能在CDM迁移作业中配置“作业失败重试”参数,推荐在此处配置即可。
建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。
数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量及增量、实时数据集成。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。
如何选择版本 请您根据您所需的功能和规格,慎重选择DataArts Studio版本。 购买版本后,无法直接降级版本。如已购买企业版,无法直接降级到初级版,您需要采取先备份数据,然后退订原有实例,购买新实例,最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长,已购版本无法满足您的业务需求