检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下: 在“作业管理”>“Flink作业”页面,单击对应的作业名称,进入作业详情页面,单击“运行日志”可以查看实时日志。 运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。
图1 查看增强型跨源连接详情 父主题: 管理增强型跨源连接
对两个表进行join操作时,提示:SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id.; 出现这个提示,表示进行join操作的两个表中包含相同的字段,但是在执行命令时,没有指定该字段的归属。
在“作业管理”>“Flink作业”页面找到对应的作业。 在对应作业的“操作”栏中选择“更多”>“权限管理”。 图1 Flink作业权限管理 在“授权”页面输入需要授权的用户名,勾选需要的权限。确认后,被授权用户就可以查看该作业,并且执行对应操作。
1 SHOW ALL ROLES; 只有管理员才有权限执行show all roles语句。 显示绑定到用户名为user_name1的所有角色。 1 SHOW ROLES user_name1; 父主题: 数据权限相关
配置DBeaver连接DLI进行数据查询和分析 DBeaver 是一个免费且开源的数据库管理工具,支持多种数据库,通过DBeaver这款可视化数据库管理工具可以查看数据库结构、执行SQL查询和脚本、浏览和导出数据等。本节操作介绍DBeaver连接DLI服务的操作步骤。
以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理 > 队列管理”。
用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现 导入依赖。
创建Spark作业完成后,在控制台单击右上角“执行”提交作业,页面显示“批处理作业提交成功”说明Spark作业提交成功,可以在Spark作业管理页面查看提交的作业的状态和日志。
DLI元数据权限管理 可通过DLI SQL权限管理或者IAM鉴权管理DLI元数据的权限 DLI SQL权限管理: 在“数据湖探索 > 数据管理 > 库表管理”页面,搜索要授权的库/表。 单击表操作列的“权限管理”,即可查看当前库/表授权信息或者新增授权。
登录DLI管理管理控制台。 选择“资源管理 > 弹性资源池”。 在弹性资源池的列表页查看资源池的“实际CUs”和“已使用CUs”。 实际CUs:弹性资源池当前分配的可用CUs。
单击“数据管理”>“库表管理”。
管理DLI具数据源的访问凭证: Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。
用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。
图1 自动续费配置 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。
进入CDM主界面,单击左侧导航上的“集群管理”,找到步骤1:创建CDM集群章节创建的集群“cdm-aff1”。 单击CDM集群后的“作业管理”,进入作业管理界面。 选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图2所示。
表管理页面 在“数据管理”页面中,单击对应数据库名称或“操作”列中的“表管理”,可进入其表管理页面。 表管理页面显示用户在当前数据库中创建所有的表,您可以查看表类型,数据存储位置等信息。表列表默认按创建时间排列,创建时间最近的表显示在最前端。 父主题: 创建数据库和表
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 购买时长 选择“包年/包月”计费模式时,需要选择“购买时长”。