检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。 在“作业管理”>“Flink作业”页面找到对应的作业。 在对应作业的“操作”栏中选择“更多”>“权限管理”。 图1 Flink作业权限管理 在“
示例 显示绑定到该用户的所有角色。 1 SHOW ROLES; 显示project下的所有角色。 1 SHOW ALL ROLES; 只有管理员才有权限执行show all roles语句。 显示绑定到用户名为user_name1的所有角色。 1 SHOW ROLES user_name1;
池并添加队列。 SQL作业只能在队列类型为“SQL队列”下执行。 数据目录 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 您可以在DLI中创建并管理多个Catalog,用于不同的元数据隔离。 数据库 下拉选择需要使用的数据库。如果没有可用数据库,此处显示“d
以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理 > 队列管理”。 选择增强型跨源所绑定的资源池下的队列,单击操作列“更多
如何获取项目ID? 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
pyspark样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或
java样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现 导入依赖 涉及到的mvn依赖库
_data_clean_agency。 DLI Flink作业访问和使用OBS、日志转储(包括桶授权)、开启checkpoint、作业导入导出等,需要获得访问和使用OBS(对象存储服务)的Tenant Administrator权限。 DLI Flink作业所需的AKSK存储在数
参考DLI对接LakeFormation。 DLI元数据权限管理 可通过DLI SQL权限管理或者IAM鉴权管理DLI元数据的权限 DLI SQL权限管理: 在“数据湖探索 > 数据管理 > 库表管理”页面,搜索要授权的库/表。 单击表操作列的“权限管理”,即可查看当前库/表授权信息或者新增授权。
Flink 作业: 登录DLI管理管理控制台。 选择“作业管理 > Flink作业”。 单击作业名称进入作业详情页面。 选择“作业配置信息 > 资源配置” 查看作业的CU数量,即作业占用资源总CUs数。 该CUs数可以编辑作业页面进行配置,CUs数量 = 管理单元 + (算子总并行数 /
Final.jar avatica-metrics-1.16.0.jar jaeger-core-1.6.0.jar netty-handler-ssl-ocsp-4.1.86.Final.jar avatica-server-1.16.0.jar jaeger-thrift-1.6.0.jar
解决方案 需要给执行作业的用户赋数据库的操作权限,具体操作参考如下: 在DLI管理控制台左侧,单击“数据管理”>“库表管理”。 单击所选数据库“操作”栏中的“权限管理”,将显示该数据库对应的权限信息。 在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中,选择“用户授权”或“项目
数据源的网络连通。 管理DLI具数据源的访问凭证: Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使
中的自定义函数。 UDF Jar包的管理方式: 上传OBS管理程序包:提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。 上传DLI管理程序包:提前将对应的jar包上传至OBS桶中,并在DLI管理控制台的“数据管理>程序包管理”中创建程序包,具体操作请参考创建DLI程序包。
Spark、Apache Flink、trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转
在购买页面开通自动续费 您可以在购买页面开通自动续费,如图1所示。 图1 自动续费配置 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。
池“dli_resource_pool”、队列“dli_queue_01”。 登录DLI管理控制台。 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。
如果所建弹性资源池属于企业项目,可选择对应的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 购买时长 选择“包年/包月”计费
实例创建成功后,用户可以在“实例管理”页面对其进行查看和管理。 创建实例过程中,状态显示为“创建中”,创建完成的实例状态显示为“正常”。您可以通过“任务中心”查看详细进度和结果。 步骤2:创建RDS数据库表 登录RDS管理控制台。 在管理控制台左上角选择区域和项目。 在“实例管理页面”,找到您已