检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基本概念 账号 用户注册华为账号并开通华为云。账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户
select query; 参数描述 表1 INSERT INTO参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。
适用于对资源消耗不高、对资源高可靠性和高可用性要求不高的测试场景。 标准版 64CUs及以上规格 弹性资源池使用相关约束限制请参考弹性资源池使用约束限制。 具备强大的计算能力、高可用性、及灵活的资源管理能力,适用于大规模计算任务场景和有长期资源规划需求的业务场景。
创建角色 功能描述 在当前database或指定database中创建一个新的角色。 只有在database上具有CREATE_ROLE权限的用户才能创建角色。例如:管理员用户、database的owner用户和被赋予了CREATE_ROLE权限的其他用户。 每个角色必须属于且只能属于一个database。
[EXTENDED|FORMATTED] [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path`; 显示表详细信息: DESCRIBE DETAIL [database_name.]table_name|DELTA
RENAME TABLE 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName 参数描述 表1 RENAME参数描述 参数 描述 tableName 表名。 newTableName
JSON函数 JSON函数使用SQL标准的ISO/IEC TR 19075-6中描述的JSON路径表达式。它们的语法受到ECMAScript的启发并采用了ECMAScript的许多特性,但既不是其子集,也不是其超集。 路径表达式有两种,一种是宽松模式,另一种是严格模式。当省略时,
DLI提供的设置作业优先级功能,可以对每个Spark作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。 Spark 2.4.5及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的
getOrCreate() 通过DataFrame API访问数据源 连接参数配置 1 2 3 4 5 url = "jdbc:postgresql://to-dws-1174404951-W8W4cW8I.datasource.com:8000/postgres" dbtable
put(DisConsumerConfig.GROUP_ID_CONFIG, groupId); // 是否主动更新分片信息及更新时间间隔(毫秒),若有主动扩缩容需求,可以开启 disConfig.put(FlinkDisConsumer.KEY_P
OBS,为了确保AKSK数据安全,您可以通过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,CSMS),对AKSK统一管理,有效避免程序硬编码或明文配置等问题导致的敏感信息泄露以及权限失控带来的业务风险。
DLI跨源连接报错找不到子网怎么办? 跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 创建RDS跨源表提示空指针错误怎么办? 对跨源DWS表执行insert overwrite操作,报错:org.postgresql.util.PSQLException:
boolExpression] 参数描述 表1 UPDATE参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。
I与数据源网络连通(增强型跨源连接)配置DLI与数据源的网络连通。 管理DLI具数据源的访问凭证: Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。
0/{project_id}/streaming/flink-jobs {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建数据库(废弃)。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1项目下,创建Flink自定义作业。
SHALLOW CLONE参数描述 参数 描述 target_db 目标Database名称,由字母、数字和下划线(_)组成。 target_table 目标表名,由字母、数字和下划线(_)组成。 source_db 源Database名称,由字母、数字和下划线(_)组成。 source_table
WITH...AS 功能描述 通过用WITH...AS定义公共表达式(CTE)来简化查询,提高可阅读性和易维护性。 语法格式 1 WITH cte_name AS (select_statement) sql_containing_cte_name; 关键字 cte_name:公共表达式的名字,不允许重名。
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本
connections/{connection_id} {project_id}信息请从获取项目ID获取。 查询参数说明详情,请参见创建数据库(废弃)。 请求示例 描述:查询项目ID为48cc2c48765f481480c7db940d6409d1下连接ID为2a620c33-5
SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 问题现象 SQL作业中存在join操作,作业提交后状态一直是运行中,没有结果返回。 问题根因 Spark SQL作业存在join小表操作时,会触发自动广播所有executor,使得join快速完成。但同时该操