检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如,测试队列与指定RDS实例连通性,本例RDS实例使用3306端口。 测试连通性如下所示。 图1 测试地址连通性 检查是否连接的是对端VPC和子网 创建增强型跨源连接时需要填写对端的VPC和子网。 例如,测试队列与指定RDS实例
创建指定地址连通性测试请求 功能介绍 该API用于往指定队列发送地址连通性测试请求,并将测试地址插入表内。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/queues/{queue_name}/connection-test
查询指定地址连通性测试详情 功能介绍 该API用于在连通性测试提交后查询连通性结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/queues/{queue_name}/connection-test/{task_id}
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
功能总览 功能总览 全部 数据湖探索 权限管理 弹性资源池 DLI元数据 DLI SQL作业 DLI Spark作业 DLI Flink作业 跨源连接 DLI自定义委托 自定义镜像 OBS 2.0支持 数据湖探索 数据湖探索(Data Lake Insight,以下简称DLI)是完全兼容Apache
与其他云服务的关系 与对象存储服务(OBS)的关系 对象存储服务(Object Storage Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。 数据来源:使用DLI服务提供API,将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。
展示用户Flink作业的内存使用率。 0~100 Flink作业 10秒钟 flink_max_op_latency Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间,单位ms。 ≥0 Flink作业 10秒钟 flink_max_op_backpressure_level Flink作业最大算子反压
准备一个linux弹性云服务器ECS,用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。
TPC-H的测试和度量指标 TPC-H 测试分解为3 个子测试:数据装载测试、Power测试和Throughput测试。建立测试数据库的过程被称为装载数据,装载测试是为测试DBMS装载数据的能力。装载测试是第一项测试,测试装载数据的时间,这项操作非常耗时。Power 测试是在数据装
在DLI控制台修改数据库所有者 在实际使用过程中,开发人员创建了数据库和表,交给测试人员进行测试,测试人员测试完成后,再交给运维人员进行体验,在这种情况下,可以通过修改数据库的所有者,将数据转移给其他所有者。 修改数据库所有者 修改数据库所有者的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
数据库中。 前提条件 DLI要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源
在创建的新数据源配置界面中,输入Kyuubi服务器的相关信息。 数据库名称:本例输入DLI数据库名称。 服务器地址:输入Kyuubi服务器的弹性公网IP地址。 端口号:Kyuubi服务监听的端口,使用Hive Thrift协议,默认端口10009。 用户名和密码:按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项,然后保存配置。
BlackHole结果表 功能描述 BlackHole Connector允许接收所有输入记录,常用于高性能测试和UDF 输出,其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是
请务必确保您的账户下已在云搜索服务里创建了集群。如何创建集群请参考《云搜索服务用户指南》中创建集群章节。 该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组
String 指定在由于临时请求错误导致任何 flush 操作失败时如何执行重试。有效策略为: DISABLED:不执行重试,即第一次请求错误后失败。 CONSTANT:等待重试之间的回退延迟。 EXPONENTIAL:先等待回退延迟,然后在重试之间指数递增。 sink.bulk-flush
BlackHole 功能描述 BlackHole Connector允许接收所有输入记录,常用于高性能测试和UDF输出,其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题
该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,请在增强
engine进程内存使用 否 5g 快速启动kyuubi。 进入云服务器的根目录/bin执行以下命令启动kyuubi。 cd /bin ./kyuubi start restart 连接成功后,可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 (可选)配置主机的host文件提高Kyuubi的访问效率
在创建的新数据源配置界面中,输入Kyuubi服务器的相关信息。 数据库名称:本例输入DLI数据库名称。 服务器地址:输入Kyuubi服务器的弹性公网IP地址。 端口号:Kyuubi服务监听的端口,使用Hive Thirft协议,默认端口10009。 用户名和密码:按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项,然后保存配置。