检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
USER:限定后面的user_name是一个用户。 注意事项 resource可以是queue、database、table、column、view,格式分别为: queue的格式为:queues.queue_name database的格式为:databases.db_name table的格式为:databases
跳转至AOM仪表盘页面。 方式2:在AOM预置仪表中查看监控仪表盘 登录AOM 2.0管理控制台。 在左侧导航栏选择“仪表盘”。 在仪表盘页面左侧列表中选择“应用”,并在应用列表中选择类型为“DLI_FLINK”的仪表盘。 单击仪表盘名称进入监控指标仪表盘。 配置筛选条件查看详细的监控指标
| (2 rows) --如果匹配字符串中有字符与通配符冲突,可以指定转义字符来标识,示例为查询default这个schema下,table_name前缀为"t_" 的所有table,转义字符为"\": SHOW FUNCTIONS LIKE
管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介,或在左侧导航栏单击“作业管理”>“Spark作业”,可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。 表1 作业管理参数
放(建议所有网段开放)。 客户安全组入方向和出方向配置的都是DLI队列的子网。建议客户将入方向源地址配成0.0.0.0/0,端口8000,表示任意地址都可以访问DWS8000端口。 将入方向源地址配成0.0.0.0/0,端口8000,仍然无法连接,继续排查子网配置。客户的DWS子
98端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。 使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。具体操作可以参考增强型跨源连接。
显示角色 功能描述 显示所有的角色或者显示当前database下绑定到“user_name”的角色。 语法格式 1 SHOW [ALL] ROLES [user_name]; 关键字 ALL:显示所有的角色。 注意事项 ALL关键字与user_name不可同时存在。 示例 显示绑定到该用户的所有角色。
secret_key:your-sk queue:your-queue-name database: your-dli-database schema: your-dli-schema 表2 DBT连接DLI参数说明 参数 是否必选 说明 配置样例 type 是 数据源类型,本例配置为dli。
tableIdentifier; RUN ARCHIVELOG ON tablelocation; 参数描述 表1 参数描述 参数 描述 tableIdentifier Hudi表的名称 tablelocation Hudi表的存储路径 示例 run archivelog on h1; run archivelog
jar 作业 一直处于“提交中”? Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下: 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 计算剩余CU量。
已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。
--查看数据 SELECT * FROM decimal_t1; dec_col1 --------- 5.325 (1 row) --删除表 DROP TABLE decimal_t1; --创建NUMERIC 类型表 CREATE
提交失败,只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下: 在“作业管理”>“Flink作业”页面,单击对应的作业名称,进入作业详情页面,单击“运行日志”可以查看实时日志。 运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。
table查看建表语句报错DLI.0005: Operation not allowed: `SHOW CREATE TABLE` is not supported for Delta tables 根因分析:不支持该语法,可通过Describe formatted查看表结构。 执行vacuum报错DLI
在队列监控页面,分别查看以下指标查看当前队列的作业运行情况。 “提交中作业数”:展示当前队列中状态为“提交中”的作业数量。 “运行中作业数”:展示当前队列中状态为“运行中”的作业数量。 “已完成作业数”:展示当前队列中状态为“已成功”的作业数量。 图1 查看队列监控指标 父主题:
合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题: 安全
DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后,用户可以在DLI的租户独享集群中访问所有Flink和Spark支
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
第二个计费周期为:2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,计费公式如表2所示。 表2 计费公式 资源类型 计费公式 资源单价 计算资源 规格单价 * 购买时长 请参见DLI产品价格详情。 包年/包月弹性资源池费用计算示例: