检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
of Strings OBS桶名列表。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 授权OBS桶bucket1的操
调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表5 错误码 错误码 错误信息 DLI.0001 参数校验错误 DLI.0999 对象已存在错误 父主题: 全局变量相关API
dynamicPartitionPruning.enabled true 该配置项用于启用或禁用动态分区修剪。在执行SQL查询时,动态分区修剪可以帮助减少需要扫描的数据量,提高查询性能。 配置为true时,代表启用动态分区修剪,SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区,适用于在处理具有大量分区的表时。
但是没有配置出入规则,造成IP地址不可访问。 客户配置子网出入规则后,测试成功。 参考信息 关于出入规则,可以参考《新建跨源连接,显示已激活,但使用时报communication link failure错误》。 父主题: 增强型跨源连接类
DWS输出流(通过JDBC方式) 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
DWS输出流(通过JDBC方式) 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
集群正在创建中,当前不可用。 AVAILABLE 集群可用。 SUSPENDED 由于长时间未使用,集群当前处于挂起状态,可通过创建批处理作业接口,重新激活集群。 RECOVERING 集群处于挂起恢复状态,当状态变为AVAILABLE时可再次使用。 示例 请求样例: None 成功响应样例:
如果需要查看管理员或者其他用户账号下的数据库,需要对当前用户授权(显示权限),具体请参考常用操作与系统权限关系。 数据库和表赋权对象具有层级关系,用户赋予上一层级的权限会自动继承到下一层级对象上,层级关系为:数据库>表>列。 数据库所有者、表所有者、被赋予“赋权权限”的用户都可以对数据库和表赋权。
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 若定义主键,则
30,Justin 进入OBS管理控制台,在“桶列表”下,单击已创建的OBS桶名称,本示例桶名为“dli-test-obs01”。 单击“上传对象”,将testdata.csv文件上传到OBS桶根目录下。 在OBS桶根目录下,单击“新建文件夹”,创建名为“warehousepath”
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 若定义主键,则
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
"未命名的桶策略-Timestamp-1" } ] } 在管理控制台检查以下权限相关内容,查看策略名称是否与2一致。 效力:允许 授权资源:按需授权桶和对象。 授权操作:与2中Action一致 常用检查项: 检查是否配置了所有账号的某些拒绝操作,且这些操作是上述DLI所需要的授权操作。 检查是
元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能,提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务(OBS)在处理小文件写入时的性能,提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当s
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data
否 Boolean 判断是否为管理用户,false表示不是管理用户,true表示是管理用户。 object 否 String 该用户有权限的对象: “databases.数据库名.tables.表名”,用户在当前表上的权限。 “databases.数据库名.tables.表名.columns
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。