检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi CALL COMMAND语法说明
mation文档。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题： Schema演进语法说明
图1 归档日志 在OBS目录下，获取归档日志文件夹，详细如下。 Spark SQL作业： 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。 图2 带有driver的归档日志文件夹名示例 图3 contain
只能依次回滚最新的commit时间戳，可以通过SHOW_TIME_LINE命令检查最新的instant time。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi CALL COMMAND语法说明
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 在DLI环境，Hudi表的数据文件存储在OBS上，因此可以通过查看OBS文件检查。 如下，展示了Hudi 多级分区COW表存储结构的示意。 hudi_table ├── .hoodie // 元数据文件夹
price = price *2, name = 'a2' where id = 2; 系统响应 可以确认任务状态成功，运行QUERY语句查看表中数据已被更新。 父主题： Hudi DML语法说明
如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不
如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
Invoke DLI service api failed错误 问题现象 在CDM迁移数据到DLI，迁移作业提交后，在CDM作业迁移日志中查看作业执行失败，具体日志有如下报错信息： org.apache.sqoop.common.SqoopException: UQUERY_CONNECTOR_0001:Invoke
SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。 数据处理有问题。 处理步骤 在Flink UI查看task日志，发现报错中提到json体，基本确定原因为数据格式问题。
命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述 table_name 需要查询的表的表名，支持database
用户登录并验证权限 使用新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择数据湖探索，进入DLI主界面。如果在“队列管理”页面可以查看队列列表，但是单击右上角“购买队列”，无法购买DLI队列（假设当前权限仅包含DLI ReadOnlyAccess），表示“DLI ReadOnlyAccess”已生效。
什么是DLI分区表的列赋权？ 用户无法对分区表的分区列进行权限操作。 当用户对分区表的任意一列非分区列有权限，则默认对分区列有权限。 当查看用户在分区表上的权限的时候，不会显示对分区列有权限。 父主题： DLI权限管理类
在Flink作业管理页面，将鼠标悬停到提交失败的作业状态上，查看失败的简要信息。 常见的失败原因可能包括： CU资源不足：需扩容队列。 生成jar包失败：检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误，可以进一步单击作业名称，进入到作业详情页面，选择“提交日志”页签，查看作业提交日志。 父主题： Flink
将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理
使用DLI提交SQL作业查询RDS MySQL数据 操作场景 DLI可以查询存储在RDS数据库中的数据，本节操作介绍使用DLI提交SQL作业查询RDS MySQL数据的操作步骤。 本例创建RDS实例并新建数据库和表，创建DLI弹性资源池队列，通过增强型跨源连接打通DLI弹性资源池
导出查询结果 功能描述 INSERT OVERWRITE DIRECTORY用于将查询结果直接写入到指定的目录，支持按CSV、Parquet、ORC、JSON、Avro格式进行存储。 语法格式 1 2 3 4 INSERT OVERWRITE DIRECTORY path USING
查询作业详细信息 功能介绍 该API用于查询作业的详细信息，如作业的databasename、tablename、file size和export mode等信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET/v1.0/{project_i
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
