检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hetu 2.1.0 0.11.0 如何判断队列支持的计算引擎版本:首先进入DLI的控制台界面,点击左侧菜单栏的”资源管理”-> ”队列管理”。在队列管理的界面筛选并选中需要查询的队列,随后点击窗口底部的窗格,展开隐藏的队列详情页面,在支持版本即可查看可用的计算引擎版本。对于SQL队列
队列相关API(推荐) 创建队列 删除队列 查询所有队列 查询队列详情 重启/扩容/缩容队列 创建指定地址连通性测试请求 查询指定地址连通性测试详情
图1 profile文件 图2 dbt_project.yml文件中配置的profile 验证配置 执行以下命令测试DBT配置是否正确: dbt debug 执行项目作业 测试通过后执行以下命令来执行您的数据模型。 dbt run 父主题: 使用BI工具连接DLI分析数据
TRING”数据类型。建表成功后插入测试数据到“array_test”中。操作如下: 创建表。 CREATE TABLE array_test(name STRING, id ARRAY < INT >) USING PARQUET; 插入测试数据。 INSERT INTO array_test
列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
弹性资源池CU时套餐包 按照“CU时”收取计算费用,用户在弹性资源池添加的队列上运行作业时按照弹性资源池CU时计费。 适用于可预估队列使用量的场景、或测试项目等资源消耗不高的场景。 弹性资源池CU时套餐包的额度按订购周期重置。 存储量套餐包 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。
增强型跨源创建后状态为“已激活”,但不能说明队列和数据源已连通。建议前往队列管理页面测试数据源网络是否打通。操作步骤如下: 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。
统按超时取消处理。 用户可以通过dli.sql.job.timeout(单位是秒)参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业,您可以安装DLI Livy工具,通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark
选择增强型跨源所绑定的队列,单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口,测试网络连通性。 格式:IP:端口 测试连接前,请确保外部数据源的安全组已放通队列的网段。 图3 测试队列与数据源的网络连通性 相关操作 创建跨源成功但测试网络连通性失败怎么办? 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
”,选择操作的队列,本示例为步骤1:创建队列中创建的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,根据2中获取的RDS连接信息,地址栏输入“RDS内网地址:RDS数据库端口”,单击“测试”测试DLI到RDS网络是否可达。 创建DLI连接DWS的增强型跨源连接 在D
详细信息中即包含“SQL执行计划”项,单击查看,系统从DLI作业桶中查询对应作业的SQL执行计划并展示在控制台页面。 如果DLI作业桶中的SQL执行计划已经删除,那么点击查看后可能由于源文件缺失无法正常显示。 图1 查看SQL执行计划 父主题: 使用DLI提交SQL作业
跨源连接状态 图13 详情 测试队列与RDS、DMS实例连通性。 单击“队列管理”,选择您所使用的队列,单击“操作”列中的“更多”>“测试地址连通性”。 图14 检测地址连通性 输入DMS Kafka实例连接地址和步RDS MySQL实例内网地址,进行网络连通性测试。 测试结果显示可达,则D
的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列> 找到作业的所属队列> 更多> 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
在快照操作期间,连接器将查询每个包含的表,以生成该表中所有行的读取事件。 此参数确定 MySQL 连接是否将表的所有结果拉入内存(速度很快,但需要大量内存), 或者结果是否需要流式传输(传输速度可能较慢,但适用于非常大的表)。 该值指定了在连接器对结果进行流式处理之前,表必须包含的最小行数,默认值为1000。
管理队列 查看队列的基本信息 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网络不可达,请先配置网络连通后再重新执行作业。 操作方法请参考测试地址连通性。 配置详情请参考配置网络连通。 父主题: Flink SQL作业类
单击“队列管理”,选择操作的队列,本示例为步骤1:创建队列中创建的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,根据2中获取的RDS连接信息,地址栏输入“RDS内网地址:RDS数据库端口”,单击“测试”测试DLI到RDS网络是否可达。 创建DLI连接DWS的增强型跨源连接 在D
在管理控制台左侧,单击“SQL编辑器”。 在“SQL编辑器”页面的左侧导航栏单击“数据库”页签。有两种方式创建表。 鼠标左键单击数据库名,进入“表”区域,单击右侧,创建当前数据库下的表。 鼠标左键单击对应数据库右侧的,在列表菜单中选择“创建表”,创建当前数据库下的表。 在“创建表”页面,填写参数。