检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
本章节指导用户通过API创建增强型跨源连接。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口,具体请参考《虚拟私有云API参考》。获取子网网络ID接口,具体请参考《虚拟私有云API参考》。
类别数目,运行K-Means算法可以取得比较好的聚类效果。但是对于在线实时流数据,数据是在不断变化和演进,类别数目极有可能发生变化,DLI服务提供一种能够应对此类场景,无需提前设定聚类数目,并且低延时的在线聚类算法。 算法大致思想为:定义一种距离函数,两两数据点之间如果距离小于某
给新用户设置数据库权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 注意事项 如果需要查看管理员或者其他用户账号下的数据库,需要对当前用户授权(显示权限),具体请参考常用操作与系统权限关系。
址,配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导,介绍如何通过设置SNAT规则和配置路由信息,实现DLI服务与公网的网络连接。 操作流程 图1 配置DLI队列访问公网流程 步骤1:创建VPC 登录虚拟私有云控制台,创建虚拟私有云。创建的VPC供NAT访问公网使用。
pyspark样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编
URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 obs_dir 是 String OBS路径,用于保存导出的作业文件。 is_selected
注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink OpenSource
通常是直接基于pip把Python库安装到执行机器上,对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源,那如何来保证用户可以更好的运行他的程序呢? DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库(具体可以参考”数据湖探索 DLI > 用户指南>
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 Long 作业ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。
project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。 cluster_name 是 集群名称。 请求消息 无请求参数。 响应消息 返回码 成功返回200。 响应参数 响应参数如表2所示。 表2 响应参数说明 参数 是否必选 参数类型 说明 create_time
项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 连接ID,用于标识跨源连接的UUID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 hosts 是 Array of objects 用户自定义主机信息,最大支持2万条记录,详细信息参见表
project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数 是否必选 参数类型 说明 job_id 是 String 作业ID,用于标识上传作业。 响应消息 表3 响应参数 参数 参数类型 说明 is_success Boolean
DELETE /v2.0/{project_id}/resources/{resource_name}?group={group} 请求消息 无请求参数。 响应消息 删除成功,返回码为200 删除不存在的资源包,返回码为404 请求示例 无 响应示例 无 状态码 状态码如表3所示。 表3 状态码
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数 是否必选 参数类型 描述 queue_name 是 String 队列名称。 响应消息 表3 响应参数说明 参数 是否必选 参数类型 描述 is_success 否 Boolean
如果所建队列属于企业项目,可选择对应的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 描述 所创建队列的相应描述。输入长度不能超过128个字符。
如果所建弹性资源池属于企业项目,可选择对应的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 购买时长 选择“包年/包月”计费模式时,需要选
关注 点击 - 步骤1:上传数据 将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 下载OBS Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS
ID。 connection_id 是 String 连接ID,用于标识跨源连接的UUID。具体为创建增强型跨源连接返回的连接ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 queues 否 Array of Strings 需要使用跨源的队列名列表。 el
“,”分隔。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_ids 是 Array of Long 待删除的队列扩缩容计划的ID列表,具体获取请参考查看队列定时扩缩容计划(废弃)。例如:"plan_ids": [8,10]。 响应消息 表3 响应参数 参数名称