正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点(Endpoint)
我们采用一种基于随机森林的异常检测方法: One-pass算法,O(1)均摊时空复杂度。 随机森林结构仅构造一次,模型更新仅仅是节点数据分布值的更新。 节点存储多个窗口的数据分布信息,能够检测数据分布变化。 异常检测和模型更新在同一个代码框架中完成。 语法格式 1 SRF_UNSUP(ARRAY[字段1
我们采用一种基于随机森林的异常检测方法: One-pass算法,O(1)均摊时空复杂度。 随机森林结构仅构造一次,模型更新仅仅是节点数据分布值的更新。 节点存储多个窗口的数据分布信息,能够检测数据分布变化。 异常检测和模型更新在同一个代码框架中完成。 语法格式 1 SRF_UNSUP(ARRAY[字段1
执行SQL作业时产生数据倾斜怎么办? 什么是数据倾斜? 数据倾斜是在SQL作业执行中常见的问题,当数据分布不均匀的情况下,一部分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所示,查看
前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。
前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。
连接DLI服务的地址格式为:jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。 在地区和终端节点获取DLI对应的Endpoint;在华为云页面上方菜单栏,单击用户名,然后在“我的凭证”页面获取项目编号。 示例:jdbc:dli://dli
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。 响应示例如下,例如DLI服务部署的区域为“cn-north-4”,相应消息体中查找“name”为“cn-north-4”
前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。
前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 开启Kerberos认证时的相关配置文件
手动停止了Flink作业,再次启动时没有提示从哪个Checkpoint恢复 问题现象 在创建Flink作业时开启了Checkpoint,指定了Checkpoint保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业没有提示从哪个Checkpoint恢复。 解决方案 由于Flink
如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关区域和终端节点的更多信息,请参阅地区和终端节点。 父主题: 使用咨询
如果MapReduce服务集群存在多个IP,创建跨源连接时填写其中任意一个业务IP即可。 方法二:通过MRS节点的“/etc/hosts”信息获取MRS主机信息 以root用户登录MRS的任意一个主机节点。 执行以下命令获取MRS对应主机节点的hosts信息,复制保存。 cat /etc/hosts 图1 获取hosts信息
API使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
lientPort”的参数值即为ZooKeeper的端口。 使用root用户ssh登录任意一个MRS主机节点。具体请参考登录MRS集群节点。 执行以下命令获取MRS对应主机节点的hosts信息,复制保存。 cat /etc/hosts 例如,查询结果参考如下,将内容复制保存,以备后续步骤使用。
如何使用API通过公网访问DLI? DLI域名公网访问请使用域名访问:dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考:数据湖探索API。 DLI自定义的Spark3.1.1镜像,需要把第三方依赖jar放到哪个路径下呢? DLI自定义的Spark3
目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 node_id 是 String 创建IEF消息通道指定的边缘节点ID,UUID格式。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求
kafka-topics.sh --create --zookeeper ZooKeeper角色实例所在节点IP地址1:2181,ZooKeeper角色实例所在节点IP地址2:2181,ZooKeeper角色实例所在节点IP地址3:2181/kafka --replication-factor 1 --partitions
48765f481480c7db940d6409d1/elastic-resource-pools {endpoint}信息请从地区和终端节点获取。 Body: { "elastic_resource_pool_name" : "elastic_pool_dli", "description"