检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运维者操作 运维者作为运维管理的负责人,需要对生产环境的作业、实例、通知、备份等进行统一管控,相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控,作业每次运行,都会对应产生一次作业实例记录。
Hive的版本。根据服务端Hive版本设置。 HIVE_3_X 用户名 选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为a
批量数据迁移增量包对应数据集成CDM集群。 通过购买一个按需计费方式的批量数据迁移增量包,系统会按照您所选规格自动创建一个数据集成CDM集群。 通过购买一个套餐包方式的批量数据迁移增量包,系统不自动创建CDM集群,而是在生效期内的每个计费月内按月提供745小时/月的使用时长,在绑定区域为在DataArts
方式1:用户在对象存储OBS中创建以“dlf-log-{projectID}”命名的桶,并将操作权限赋予调度用户。 OBS路径仅支持OBS桶,不支持并行文件系统。 方式2:在IAM用户权限中增加全局OBS管理员权限。 父主题: 数据开发
Studio权限的详细描述,请参见DataArts Studio权限管理。 图1 权限体系 若您需要对除DataArts Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。
便于在IT系统中实现。 在DataArts Studio数据架构的数据建模过程中,用到的建模方法主要有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个
开启IPv6双栈后,仅支持选择已开启IPv6网段的子网。如果待选择的子网未开启IPv6网段,则需要在虚拟私有云VPC服务中开启。 仅支持为内网IP启用IPv6双栈,暂不支持为公网IP启用IPv6双栈。 集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 单击“立即购买”,确认规格后单击“创建”。 购
MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS HDFS服务。
Studio权限的详细描述,请参见DataArts Studio权限管理。 图1 权限体系 若您需要对除DataArts Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。
置如表5所示的参数。 表5 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
= en-us 是否需要判断返回值:选择“YES”。 返回值字段路径:配置为submissions[0].status。 请求成功标志位:配置为SUCCEEDED。 其他参数保持默认即可。 (可选)配置“删除作业运行完成”节点。 这里的删除作业可根据实际需要选择。由于DLF是通过
create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间
描述 为更好地识别嵌入水印任务,此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *纠错等级 等级越高,水印信息编码位数越长,溯源时误码率越低。需注意高纠错等级需要更大的数据量来保证信息的嵌入完整性。默认为1。 *水印版本 V1版本
添加审核人 在数据架构中,业务流程中的步骤都需要经过审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 添加审核人 审核人必须是当前工作空间下具有审核权限的成员,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员。
工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托。 访问标识(AK) 是 使用委托为否时显示该参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间
问题描述 创建了Hive到DWS类型的连接,进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据,然后再做迁移,可大大降低任务失败的概率。 父主题: 数据集成(CDM作业)
此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于
memory.network.max int 128MB 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。 taskmanager.memory.network.fraction int 0.1 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。
在发布API时,会触发审核,审核机制如下: 当发布人不具备审核人权限时,发布API时需要提交给审核人审核。 当发布人具备审核人权限时,可无需审批直接发布API。 因此,如果不具备审核人权限的用户需要发布API时,请先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。