检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com:8080 图1 测试地址连通性 单击“测试”。 如果测试地址可连通，页面上将提示地址可达。 如果测试地址不可连通，页面上将提示地址不可达，请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。 相关操作 创建跨源成功但测试网络连通性失败怎么办？
检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如，测试队列与指定RDS实例连通性，本例RDS实例使用3306端口。 测试连通性如下所示。 图1 测试地址连通性 检查是否连接的是对端VPC和子网 创建增强型跨源连接时需要填写对端的VPC和子网。 例如，测试队列与指定RDS实例
创建指定地址连通性测试请求 功能介绍 该API用于往指定队列发送地址连通性测试请求，并将测试地址插入表内。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/queues/{queue_name}/connection-test
查询指定地址连通性测试详情 功能介绍 该API用于在连通性测试提交后查询连通性结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/queues/{queue_name}/connection-test/{task_id}
跨源连接状态 图13 详情 测试队列与RDS、DMS实例连通性。 单击“队列管理”，选择您所使用的队列，单击“操作”列中的“更多”>“测试地址连通性”。 图14 检测地址连通性 输入DMS Kafka实例连接地址和步RDS MySQL实例内网地址，进行网络连通性测试。 测试结果显示可达，则D
TPC-H的测试和度量指标 TPC-H 测试分解为3 个子测试：数据装载测试、Power测试和Throughput测试。建立测试数据库的过程被称为装载数据，装载测试是为测试DBMS装载数据的能力。装载测试是第一项测试，测试装载数据的时间，这项操作非常耗时。Power 测试是在数据装
的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。 DLI在Spark SQL引擎中增加SQL防御能力，基于用户可理解的SQL防御策略，实现对典型大SQL、低
游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策。例如：运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等，了解游戏当前状态及后续响应活动措施；投放部门通过平台获取新增玩家、活跃玩家的渠道来源，来决定下一周期重点投放哪些平台。 优势 高效的S
用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突，导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包，用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI Flink运行平台中已经存在的包，则会提示Flink
CLEAN 命令功能 用于根据配置对Timeline上的Instant进行clean，删除老旧的历史版本文件，以减少hudi表的数据存储及读写压力。 命令格式 RUN CLEAN ON tableIdentifier; RUN CLEAN ON tablelocation; 参数描述
用于根据配置对Timeline上的Instant进行归档，并从Timeline上将已归档的Instant删除，以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier; RUN ARCHIVELOG ON tablelocation;
Clean操作说明 什么是Clean Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件)，减轻存储压力，提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发）
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理，需要配置参数： hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
DWS Connector概述 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQ
要执行。Clean操作的目的是为了清理旧版本文件（Hudi不再使用的数据文件），这不但可以节省Hudi表List过程的时间，也可以缓解存储压力。 规则 Hudi表必须执行Clean。 对于Hudi的MOR、COW表，都需要开启Clean。 Hudi表在写入数据时会自动判断是否需要
指定的分隔符，当前仅支持单字符分隔。 示例 准备测试输入数据 表2 测试源表disSource数据和分隔符 target（STRING） separator （VARCHAR） test-flink - flink - one-two-ww-three - 输入测试SQL语句 create table
Hudi数据表Archive规范 Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。
DLI内置依赖包 DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1
在DLI控制台修改数据库所有者 在实际使用过程中，开发人员创建了数据库和表，交给测试人员进行测试，测试人员测试完成后，再交给运维人员进行体验，在这种情况下，可以通过修改数据库的所有者，将数据转移给其他所有者。 修改数据库所有者 修改数据库所有者的入口有两个，分别在“数据管理”和“SQL编辑器”页面。
在DLI控制台修改表所有者 在实际使用过程中，开发人员创建了数据库和表，交给测试人员进行测试，测试人员测试完成后，再交给运维人员进行体验，在这种情况下，可以通过修改表的所有者，将数据转移给其他所有者。 修改表所有者 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需要修改
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
