检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'RedisPassword', 'data-type' = 'sorted-set', 'deploy-mode' = 'master-replica', 'schema-syntax' = 'fields-scores' ); data-type取值约束: 当data-type为set
'RedisPassword', 'data-type' = 'sorted-set', 'deploy-mode' = 'master-replica', 'schema-syntax' = 'fields-scores' ); data-type取值约束: 当data-type为set
"data_location":"OBS", "data_type":"csv", "last_access_time":1517364268000, "location":"obs://DLI/sqldata/data.txt",
DLI权限管理类 队列引擎版本升级后,在创建表时,提示权限不足怎么办? 什么是DLI分区表的列赋权? 更新程序包时提示权限不足怎么办? 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办?
Flink作业管理相关API 触发Flink作业保存点 导入Flink作业保存点
} } ] } 相关链接 策略基本概念 RBAC策略语法 细粒度策略语法 创建自定义策略 父主题: 权限管理
拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 具体请参考《标签管理服务用户指南》。 说明: 最多支持20个标签。
登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待操作的增强型跨源连接,单击操作列的“更多 > 权限管理”。 授权: 在权限管理页面,权限设置选择“授权”。 输入项目ID。 单击“确定”,授予该项目弹性资源池的操作权限。 回收权限: 在权限管理页面,权限设置选择“回收”。
可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 DLI支持以下两类标签: 资源标签:在DLI中创建的非全局的标签。 预定义标签:在标签管理服务(简称TMS)中创建的预定义标签,属于全局标签。 有关预定义标签的更多信息,请参见《标签管理服务用户指南》。 以下介绍如何为跨源连接添加标签、修改标签和删除标签。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 data 是 Object 系统事件数据。具体参数内容详见表3说明。 表3 data参数说明 参数名称 是否必选 参数类型 说明 event_type 是 String 事件类型。 operation
# Insert data into the DLI data table sparkSession.sql("insert into dli_to_dws values(2,'John',24)") # Read data from DLI data table
作所需的权限。详细委托包含的权限请参考表2 dli_data_clean_agency 系统默认委托,需用户自行授权 数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。需用户自行在IAM创建名为dli_data_clean_agency的DLI云服务委托并授权。
pyspark样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置
tice_04.zip”压缩包,解压后将data文件夹上传到OBS桶根目录下。测试数据目录说明如下: user表数据:data/JData_User product表数据:data/JData_Product comment表数据:data/JData_Product/JData_Comment
//Insert data into the DLI data table sparkSession.sql("insert into dli_to_dws values(3,'Liu'),(4,'Xie')"); //Read data from DLI
//Insert data into the DLI data table sparkSession.sql("insert into dli_to_dws values(1,'John',24),(2,'Bob',32)") //Read data from DLI
pyspark样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
'RedisPassword', 'data-type' = 'sorted-set', 'deploy-mode' = 'master-replica', 'schema-syntax' = 'fields-scores' ); data-type取值约束: 当data-type为string时,只能有一个非主键字段。
DESCRIBE_TABLE 显示表信息 √ × √ √ 弹性资源池 DROP 删除弹性资源池 √ × √ √ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ × √ √ SCALE 扩缩容弹性资源池 √ × √ √ UPDATE 更新弹性资源池 √ × √ √ CREATE 创建弹性资源池
INFO) #import local file test_file_name = "D://test-data_1.txt" out_file_name = "D://test-data_result_1" sc = SparkContext("local","wordcount app")