检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最后修改时间和表的生命周期来判断是否要回收此表。通过设置表的生命周期,可以帮助您更好的管理数目众多的表,自动清理长期不再使用的数据表,简化数据表的回收流程。同时支持数据恢复设置,避免因误操作丢失数据。 表的回收规则 在创建表时通过TBLPROPERTIES指定表的生命周期。 非分区表
netty-all-4.1.51.Final.jar avro-ipc-1.7.7.jar jackson-datatype-jsr310-2.10.3.jar nimbus-jose-jwt-8.19.jar avro-ipc-1.7.7-tests.jar jackson-jaxrs-base-2
显示所有角色和用户的绑定关系 功能描述 在当前database显示角色与某用户的绑定关系。 语法格式 1 SHOW PRINCIPALS ROLE; 关键字 无。 注意事项 变量ROLE必须存在。 示例 1 SHOW PRINCIPALS role1; 父主题: 数据权限相关
'random',具体含义如下: random是默认的生成器,您可以通过“fields.#.max”和“fields.#.min”参数指定随机生成的最大和最小值。 当指定的字段类型为char、varchar、string时,可以同时通过“fields.#.length”字段指定长度。random是无界的生成器。
CREATE TABLE AS SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建Hudi Table。 命令格式 CREATE[ OR REPLACE] TABLE [ IF NOT EXISTS] [database_name
回收:当前用户可回收其他用户具备的该组的权限,但不能回收该组所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该组的权限。 程序包授权 图2 程序包授权 表2 程序包授权参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。
接基于pip把Python库安装到执行机器上,对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源,那如何来保证用户可以更好的运行他的程序呢? DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库(具体可以参考”数据湖探索 DLI > 用户指南> 数据管理>
窗口函数 数组函数和运算符 Map函数和运算符 URL函数 UUID函数 Color 函数 Teradata函数 Data masking函数 IP Address函数 Quantile digest函数 T-Digest函数 父主题: HetuEngine SQL语法
作业,则传入ALL。 job-status 否 String 指定查询的作业状态。 job-id 否 String 指定查询的作业ID。可通过提交SQL作业(推荐)获取。 queue_name 否 String 指定queue_name作为作业过滤条件,查询在指定queue上运行的作业。
创建并提交Spark作业 场景描述 本章节指导用户通过API创建并提交Spark作业。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。 上传分组资源:上传Spark作业所需的资源包。
配置DLI与数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题: 配置DLI读写外部数据源数据
"message": "" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 删除成功。 400 请求失败。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表5 错误码 错误码 错误信息 DLI
删除队列 根据实际使用情况,您可以通过删除操作释放队列。 如果待删除的队列中有正在提交或正在运行的作业,将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。
示例流程 图1 给用户授权DLI权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予DLI服务普通用户权限“DLI ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限:
table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上述命令将该新增的分区信息刷新到元数据库中,通过“SHOW PARTITIONS table_name”命令查看新增的分区。
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 示例“myGroup/test
为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1
"message": "" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 201 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 队列相关API(废弃)
SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink
rk流作业实时写入的场景,一般建议通过对上有消息进行过滤,从一个指定的时间范围开始消费来控制数据的重复接入量(例如Spark初始化完成后,Flink消费Kafka时过滤掉2小时之前的数据),如果无法对kafka消息进行过滤,则可以考虑先实时接入生成offset,再truncate