检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“确定”即可导出数据。 (可选)您可以在“作业管理”>“SQL作业”页面查看导出作业的“状态”、“执行语句”等信息。 在“作业类型”中选择“EXPORT”,输入导出数据的时间段,即可查询出对应条件下的作业列表。 单击导出作业名称前的,可查看导出作业的详细信息。 父主题: 在DLI控制台管理表资源
查询作业模板列表 功能介绍 该API用于查询作业模板列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v3/{project_id}/templates?type=spark 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定
为什么在DLI控制台中查询不到表? 问题现象 已知存在某DLI表,但在DLI页面查询不到该表。 问题根因 已有表但是查询不到时,大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户,让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下:
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标,AOM Prometheus支持免费存储基础指标。 除基础指标外,AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标
Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink
语法生成的虚拟列。它由使用同一表中其他列的非查询表达式生成,并且不会在表中进行物理存储。例如,一个计算列可以使用 cost AS price * quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为
弹性资源池CU时套餐包的额度按订购周期重置。 存储量套餐包 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 适用于在DLI 存储表数据的场景,例如时延敏感类的业务将表存储在DLI,使用存储量套餐包可以节省存储费用。 存储套餐的额度每个小时会重置。 按订购周期重置:
在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。 查看并了解更新委托的提示信息,单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后,在IAM控制台的委托列表中,可查看到dli_management_agency的委托信息。 步骤1:上传数据至OBS
Connector概述 Flink Doris Connector 可以支持通过 Flink 操作(读取、插入、修改、删除) Doris 中存储的数据。详情可参考Flink Doris Connector 只能对Unique Key模型的表进行修改和删除操作。 表1 支持类别 类别
等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间。TPC-H 基准测试的度量单位是每小时执行的查询数( QphH@size),其中“H”表示每小时系统执行复杂查询的平均次数,“size”表示数据库规模的
才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。
查询指定资源实例的标签信息 功能介绍 查询指定资源实例的标签信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v3/{project_id}/{res
'{UserName}', Action = 'SELECT'. 解决措施 出现该问题的原因是由于当前用户没有该表的查询权限。 您可以进入“数据管理 > 库表管理”查找对应库表,查看权限管理,是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题: DLI权限管理类
才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。
OPTIONS (path "obs://DLI-demo/data/JData_Action"); 执行查询 常用查询语句可以设置为模板,下次查询的时候在模板管理页面可以查看,具体操作可参见《数据湖探索用户指南》中的《模板管理》。 分析出10大用户点赞数最多的产品 执行以下SQL
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 单击“测试”
才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。
Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink