检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见创建DataArts Studio数据连接。 对于
问题描述 数据开发节点运行中报TOKEN不合法。 解决方案 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更? 如果有变更,请重新登录即可解决。 父主题: 数据开发
111或以上版本,如果未安装,请至Oracle官方下载页面下载。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Wind
关。 共享版默认发布到API网关共享版。发布成功后,您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名,此调试域名唯一且不可更改,此调试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格,可以
不依赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务(CDM)可以轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。 下面使用CDM将MySQL数据导入到MRS Hive分区表为例进行介绍。 操作场景 假设MySQL上有一
实时处理集成作业 1分钟 作业CPU使用率 展示用户Flink作业的CPU使用率 ≥ 0% 实时处理集成作业 1分钟 作业内存使用率 展示用户Flink作业的内存使用率 ≥ 0% 实时处理集成作业 1分钟 作业最大算子时延 展示用户Flink作业的最大算子时延时间,单位ms ≥ 0ms
管理中心API 数据连接管理 购买实例 工作空间管理 实例管理 工作空间用户管理 数据源元数据获取 实例规格变更
数据服务 数据服务共享版仅供开发测试使用,专享版性能优于共享版,推荐使用数据服务专享版。 DataArts Studio实例下最多支持创建5个数据服务专享版集群,且集群需要与某个工作空间绑定,不能多空间共用同一集群。 数据服务专享版集群创建后暂不支持修改规格或升级版本。 DataArts
免空间占用。 不支持对象多版本的迁移。 增量迁移时,单个作业的源端目录下的文件数量或对象数量,根据CDM集群规格分别有如下限制:大规格集群30万、中规格集群20万、小规格集群10万。 如果单目录下文件或对象数量超过限制,需要按照子目录来拆分成多个迁移作业。 DLI数据源约束 使用
枚举 选择HDFS连接的运行模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE
运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 数据连接为MRS API连接时支持为Spark SQL作业独立配置需要的资源(例如线程、内存、CPU核数并指定MRS资源队列等)。代理连接时不支持配置。
获取导入导出的任务状态 功能介绍 该接口用于获取导出导入任务的进度状态。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/resource/status/{resource_id} 表1 路径参数 参数 是否必选 参数类型 描述
“HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE
目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 其中,集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2。例如8核16GB规格集群的最大抽取并发数上限为16。 1 加载(写入)并发数 加载(写入)时并发执行的Loader数量。 仅当
创建集群进度,例如:29%。 GROWING String 扩容集群进度,例如:29%。 RESTORING String 恢复集群进度,例如:29%。 SNAPSHOTTING String 集群快照进度,例如:29%。 REPAIRING String 修复集群进度,例如:29%。
查看配额使用量:在“空间管理”页面,找到所需编辑的工作空间,单击其所在行的“配额使用量”,此时显示“配额使用量”页面。在“配额使用量”页面,您可以查看当前空间内,各配额规格的使用量。 置顶工作空间:在“空间管理”页面,找到所需置顶的工作空间,单击其所在行的“更多 > 置顶”,完成置顶。 删除工作空间:在“空间
50,推荐值20。 单线程flush的FileGroup的数量 > 50,推荐值30。 flush的并发数越大,flush时内存会响应升高,请结合实时处理集成作业内存监控适当调整该值。 hoodie.context.flatmap.parallelism int 1 Hudi在comm
DataArts Studio基础包升级:DataArts Studio基础包套餐允许升级,升级时,已经产生的费用按天结算。升级成功后,按新订购套餐进行计费。 如需升级,请登录DataArts Studio控制台,找到需要升级的DataArts Studio实例,单击“升级”,然后根据页面提示购买更高规格的套餐。
免费版不自带数据集成集群,而是首次购买时赠送36小时cdm.large规格的CDM集群折扣套餐,1年内有效。使用折扣套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到
创建集群进度,例如:29%。 GROWING String 扩容集群进度,例如:29%。 RESTORING String 恢复集群进度,例如:29%。 SNAPSHOTTING String 集群快照进度,例如:29%。 REPAIRING String 修复集群进度,例如:29%。