检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导 数据湖探索 DLI 介绍怎样创建提交Flink作业 04:26 数据湖探索Flink作业入门指导 数据湖探索 DLI 介绍怎样创建提交Spark作业 02:54 数据湖探索Spark作业入门指导
newTableName 新表名。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题: Schema演进语法说明
在“作业管理”>“SQL作业”页面,可单击对应作业“操作”列“更多 > 导出结果”,可导出执行查询后的结果。 在“SQL编辑器”页面,查询语句执行成功后,在“查看结果”页签右侧,单击“导出结果”,可导出执行查询后的结果。 如果查询结果中无数值列,则无法导出查询结果。 确保执行导出作业结果的用户具备该OBS桶的读写权限。
Print结果表 功能描述 Print connector用于将用户输出的数据打印到error文件或者taskmanager的文件中,方便用户查看,主要用于代码调试,查看输出结果。 前提条件 无。 注意事项 Print结果表支持以下四种格式内容输出: 打印内容 条件1 条件2 标识符:任务 ID>
TABLE参数描述 参数 描述 tableIdentifier 表名。 示例 truncate table h0_1; 系统响应 通过运行QUERY语句查看表中数据已被删除。 父主题: Hudi DDL语法说明
功能描述 Print connector用于将用户输出的数据打印到taskmanager中的error文件或者out文件中,方便用户查看,主要用于代码调试,查看输出结果。 前提条件 无。 注意事项 Print结果表支持以下四种格式内容输出: 打印内容 条件1 条件2 标识符:任务 ID>
UNSET TBLPROPERTIES [IF EXISTS] ('comment', 'key') 系统响应 通过运行DESCRIBE命令查看表属性修改。 父主题: Schema演进语法说明
测试DLI队列与数据源的连通性 获取数据源的私有内网IP和端口。 以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理 > 队列管理”。
省存储费用。 存储套餐的额度每个小时会重置。 判断套餐包额度是否超出 如果当月使用量超出已购买套餐包的额度,超出部分将自动转为按需计费。怎样查看套餐包资源的使用情况? 如果套餐包额度已超出,产生按需计费为正常现象;如果套餐包额度未超出,请继续排查判断是否产生了套餐包未涵盖的计费项。
配置Superset连接DLI进行数据查询和分析 Superset是一个开源的数据探索和可视化平台,支持对数据进行快速、直观的探索,同时支持创建丰富的数据可视化和交互式仪表板。 通过将Superset与DLI对接,用户可以访问DLI进行数据查询和分析,简化了数据访问流程,提供了数据
约束与限制 您能创建的资源的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见《如何申请扩大配额》。 更详细的限制请参见具体API的说明。 父主题: API使用前必读
jar 作业 一直处于“提交中”? Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下: 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 计算剩余CU量。
提交失败,只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下: 在“作业管理”>“Flink作业”页面,单击对应的作业名称,进入作业详情页面,单击“运行日志”可以查看实时日志。 运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。
} } 用户可按下述操作查看输出结果: 方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 +I(111,scooter
当OBS的目录下有同名文件夹和文件时,创建OBS表指向该路径会优先指向文件而非文件夹。 创建数据库和表时,有权限控制,需要对其他用户授权,其他用户才可查看该用户新建的数据库和表。具体请参考常用操作与系统权限关系。 创建数据库 创建数据库的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
获取共享VPC下数据源的私有内网IP和端口。 以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理 > 队列管理”。
SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。 查看作业执行结果。 在查看结果页签,单击以图形形式呈现查询结果。再单击切换回表格形式。 当前控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则可以单击将数据导出到OBS获取。 如果执行结果中无数值列,则无法进行图形化。
项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如project_id:"5a3314075bfa49
合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题: 安全