检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建的新数据源配置界面中，输入Kyuubi服务器的相关信息。 数据库名称：本例输入DLI数据库名称。 服务器地址：输入Kyuubi服务器的弹性公网IP地址。 端口号：Kyuubi服务监听的端口，使用Hive Thrift协议，默认端口10009。 用户名和密码：按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项，然后保存配置。
在创建的新数据源配置界面中，输入Kyuubi服务器的相关信息。 数据库名称：本例输入DLI数据库名称。 服务器地址：输入Kyuubi服务器的弹性公网IP地址。 端口号：Kyuubi服务监听的端口，使用Hive Thirft协议，默认端口10009。 用户名和密码：按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项，然后保存配置。
IMPORT EXPORT QUERY INSERT job_mode 否 String 作业执行模式： async：异步 sync：同步 请求示例 无 响应示例 同步方式请求成功响应样例： { "is_success": true, "message": "", "job_mode":
async：异步 sync：同步 请求示例 无 响应示例 { "is_success": true, "message": "" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错
修改表生命周期的时间 功能描述 修改已存在的分区表或非分区表的生命周期。 当第一次开启生命周期时，会扫描表/分区会扫描路径下的表数据文件，更新表/分区的LAST_ACCESS_TIME，耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段，如果有需要请联系客服申请开通白名单。
4 Integer 开启在线压缩时，压缩Hudi表task并行度。建议关闭在线压缩，提升性能。 hive_sync.enable 否 false Boolean 是否向hive同步表信息。 开启向hive同步表信息后会使用catalog相关权限，需配置访问catalog的委托权限。
件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 注意事项 分区表合并需要设置参数spark.sql.forcePartitionPred
服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
作业执行模式： async：异步 sync：同步 queue_name String 队列名称，用于显示作业是在该队列中提交的。 owner String 提交作业的用户。 start_time Long 作业开始的时间。是单位为“毫秒”的时间戳。 duration Long 作业运行时长，单位毫秒。
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 问题现象 SQL作业中存在join操作，作业提交后状态一直是运行中，没有结果返回。 问题根因 Spark SQL作业存在join小表操作时，会触发自动广播所有executor，使得join快速完成。但同时该操
操作过期的备份数据。通过在表属性添加配置“dli.multi.version.trash.dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
datetrunc datetrunc函数用于计算将日期date按照datepart指定的时间单位进行截取后的日期值。 截取datepart之前的部分，除截取的部分外自动填充为默认值。可参考示例代码。 命令格式 datetrunc (string date, string datepart)
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK，JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息，获取ECS的“私有IP地址”。
件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 命令格式 MERGE INTO tableIdentifier AS target_alias
配置缓存的时间。 默认为1800s。 否 1800 kyuubi.operation.incremental.collect kyuubi会预加载select结果数据到缓存加快读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi
否 Array of Map 表的列名称和类型。 rows 否 Array of objects 预览的表内容。 请求示例 无 响应示例 同步请求成功响应样例： { "is_success": true, "message": "", "schema":
设置MySQL会话超时时间 当为大型数据库创建初始一致快照时，您建立的连接可能会在读取表时碰到超时问题。您可以通过在MySQL侧配置 interactive_timeout 和 wait_timeout来解决此类问题。 interactive_timeout: 服务器在关闭交互连接之前等待活动的秒数。
= 'datagen', 'rows-per-second' = '1'); -- 创建Hudi临时表作为sink，通过配置hms同步，将表同步至DLI元数据服务 CREATE TABLE hudi_table ( order_id STRING PRIMARY KEY
配置缓存的时间。 默认为1800s。 否 1800 kyuubi.operation.incremental.collect kyuubi会预加载select结果数据到缓存加快读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
