检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio服务的API Explorer接口和REST API SDK包支持如下组件: 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成组件的API Explorer接口和SDK代码仓注册在“云数据迁移CDM”服务下。如需使用数据集成组件的API
新建目录(可选,如果已存在可用的目录,可以不用新建目录) 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发
量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的最晚完成时间,将基线承诺时间设置在基线上任务最晚完成时间之
已在“管理中心 > 数据连接”页面,完成数据源的配置。 约束与限制 API生成暂不支持Hive数据源的中文表和中文列场景。 新建API目录 API目录是按一定次序编排记录的API索引,是反映类别、指导使用、检索API的工具,帮助API开发者对API服务进行有效的分类和管理。 参考访问DataArts
队列名称 是 默认选择SQL脚本中设置的DLI队列,支持修改。 如需新建资源队列,请参考以下方法: 单击,进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当前由于DLI的“default”队列
您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。
DLI服务未购买专属队列时,涉及存储收费和扫描量计费。扫描量收费是在使用默认default队列提交作业时计费的,后续不使用队列不收费;存储收费需要您在DLI服务数据管理中删除相关数据。 SMN SMN计费说明 SMN服务按实际用量付费,退订DataArts Studio服务后不会再产生通知,您也可以直接删除SMN服务已产生的主题和订阅。
Administrator DLI权限同步权限 DLI权限同步时,需要该权限。 例如DLI权限同步时,如果无此权限会导致同步失败,系统提示权限不足。 DLI权限管理时必选 dli:database:grantPrivilege dli:table:grantPrivilege dli:column:grantPrivilege
不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限
面积。 图3 新建衍生指标基本信息2 衍生指标创建完成后,如下图所示: 管理衍生指标 进入数据指标的“技术开发 > 衍生指标”页面,您可以对衍生指标进行编辑、发布、下线、查看发布历史或删除操作。 图4 管理衍生指标 在数据指标控制台,单击左侧导航树中的“指标开发”,选择“衍生指标”页签,进入衍生指标页面。
s Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的A
态),需要增加MRS Hive配置的白名单,需要配置以下配置项参数,单击保存,滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面,在基础配置里面配置该参数。具体操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置
Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 选择“空间管理”页签,在工作空间列表中,找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 在数据开发模块,单击“配置管理 > 配置”,单击“默认项配置”。 “多IF策略”可设置为“逻辑与”或者“逻辑或”。
content 是 String 脚本内容,最大支持4M。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName
content 是 String 脚本内容,最大支持4M。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName
该配置会占用总体资源,影响新增其他作业,非必要不配置。 taskmanager.memory.managed.fraction int 0.2 taskmanager管理内存占比。 taskmanager.memory.network.max int 128MB 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。
Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafka中已创建的Topic,使用SDK或者命令行创建。具体操作请参见从零开始使用Kafka。
Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择需要上传数据的Topic,如果有多个partition,默认发送到partition
s Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的A
s Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的A