检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 数据存储安全 为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，DLI对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后，存储在集群上的用户个人敏感数据会随之删除。
计算节点处理的数据量远大于其他节点，从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长，进入SparkUI查看对应SQL的执行状态，如图1所示，查看到一个stage运行时间超过20分钟且只剩余一个task在运行，即为数据倾斜的情况。 图1 数据倾斜样例 常见数据倾斜场景
示例 修改表users的注释为“master table”，表的注释语句可以通过show create table tablename语句查看： COMMENT ON TABLE users IS 'master table'; 父主题： DDL 语法
创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。 创建批处理作业：创建并提交Spark批处理作业。 查询批处理作业状态：查看批处理作业状态。 查询批处理作业日志：查看批处理作业日志。 操作步骤 创建弹性资源池elastic_pool_dli
使用下述命令在当前ecs集群中安装jdk1.8.0_232(其中<yourJdkPath>可以在jdk1.8.0_232文件夹下使用"pwd"查看)： export JAVA_HOME=<yourJdkPath> export PATH=$JAVA_HOME/bin:$PATH export
DESCRIBE [EXTENDED| FORMATTED] table_name PARTITION (partition_spec) 描述 查看指定表的元数据信息。该语法目前只能显示列的元数据信息，等效于语法SHOW COLUMNS。 添加EXTENDED关键字会将表的所有元数据信
为什么在DLI控制台中查询不到表？ 问题现象 已知存在某DLI表，但在DLI页面查询不到该表。 问题根因 已有表但是查询不到时，大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户，让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下：
DLI将Flink作业数据输出到ClickHouse中。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。 前提条件 该场景需要与C
DLI将Flink作业数据输出到ClickHouse中。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。 前提条件 该场景需要与C
查询指定资源实例的标签信息 功能介绍 查询指定资源实例的标签信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v3/{project_id}/{res
查询作业监控信息（废弃） 功能介绍 该API用于查询作业监控信息, 支持同时查询多个作业的监控信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/metrics
查询增强型跨源连接列表 功能介绍 该API用于查询该用户已创建的增强型跨源连接列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource/enhanced-connections 参数说明 表1
查询所有全局变量 功能介绍 该API用于查询当前project下所有全局变量的信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/variables 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型
查询作业详细信息 功能介绍 该API用于查询作业的详细信息，如作业的databasename、tablename、file size和export mode等信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET/v1.0/{project_i
查询批处理作业详情 功能介绍 该API用于根据批处理作业的id查询作业详情。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v2.0/{project_id}/batches/{batch_id} 参数说明 表1 URI参数说明 参数名称 是否必选
使用Spark Jar作业读取和查询OBS数据 操作场景 DLI完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。本示例从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。
多层嵌套子查询 功能描述 多层嵌套子查询，即在子查询中嵌套子查询。 语法格式 1 SELECT attr_expr FROM ( SELECT attr_expr FROM ( SELECT attr_expr FROM... ... ) [alias] ) [alias]; 关键字
什么是DLI分区表的列赋权？ 用户无法对分区表的分区列进行权限操作。 当用户对分区表的任意一列非分区列有权限，则默认对分区列有权限。 当查看用户在分区表上的权限的时候，不会显示对分区列有权限。 父主题： DLI权限管理类
查询作业模板列表 功能介绍 该API用于查询作业模板列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v3/{project_id}/templates?type=spark 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
查询作业执行计划 功能介绍 该API用于查询作业执行计划。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id}/execute-graph 参数说明 表1 URI参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
