-
停止计费 - 数据湖探索 DLI
资源池、包年/包月的队列等,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果
-
欠费说明 - 数据湖探索 DLI
欠费后需要及时充值,详细操作请参见账户充值。 若DLI的队列、弹性资源池等资源不再使用,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。 当产生欠费后,请您及时
-
服务器:请求dli.xxx,unable to resolve host address, 如何解决? - 数据湖探索 DLI
resolve host address, 如何解决? 首先使用ping命令测试dli.xxx是否可以访问。 如果dli.xxx可以正常访问,建议下DNS解析是否配置正确。 DLI 不支持跨区域服务,需在一个区域内进行访问。 父主题: 使用SDK相关问题
-
如何获取AK/SK? - 数据湖探索 DLI
如何获取AK/SK? 访问密钥即AK/SK(Access Key ID/Secret Access Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保
-
如何获取项目ID? - 数据湖探索 DLI
如何获取项目ID? 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
-
不上传数据到OBS,如何使用DLI - 数据湖探索 DLI
不上传数据到OBS,如何使用DLI 当前DLI只支持对云上数据分析,数据还是要传到云上;但是用户可以折中处理:将待分析的数据脱敏后上传到OBS临时存放,分析完之后将结果导出使用,同时将OBS临时存放数据删除;该方法主要适用于定期(如每天)对增量数据一次性分析统计,然后利用分析结果
-
使用SDK查询SQL作业结果,如何设置超时时间? - 数据湖探索 DLI
使用SDK查询SQL作业结果,如何设置超时时间? 查询SQL作业结果SDK,在提交时会确认作业状态,系统设置的超时时间是300s,如果作业不是“FINISHED”状态,在达到300s后会抛出异常超时的错误。 建议使用getJobId()获取jobid,然后调用queryJobResultInfo(String
-
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL) - 数据湖探索 DLI
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL) Flink SQL语法约束与定义 Flink SQL语法概览 创建输入流 创建输出流 创建中间流 创建维表 自拓展生态 数据操作语句DML 数据类型 自定义函数 内置函数 地理函数 配置时间模型
-
如何查看Flink作业输出结果? - 数据湖探索 DLI
如何查看Flink作业输出结果? DLI支持将流作业的结果数据输出到DIS上,因此用户需要到DIS上去查看输出结果,详细操作请参见《数据接入服务用户指南》中的“从DIS获取数据”章节。 DLI支持将Flink作业的结果数据输出到RDS上,因此用户需要到RDS上去查看输出结果,详细操作请参见《关系型数据库快速入门》。
-
Flink作业如何保存作业日志 - 数据湖探索 DLI
在作业列表中,单击对应的作业名称,然后在“运行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业,请参考《数据湖探索用户指南》。 父主题: 使用咨询
-
如何给子用户授权查看Flink作业? - 数据湖探索 DLI
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。
-
如何理解DLI分区表的列赋权 - 数据湖探索 DLI
如何理解DLI分区表的列赋权 用户无法对分区表的分区列进行权限操作。 当用户对分区表的任意一列非分区列有权限,则默认对分区列有权限。 当查看用户在分区表上的权限的时候,不会显示对分区列有权限。 父主题: 使用咨询
-
DLI如何进行队列异常监控? - 数据湖探索 DLI
DLI如何进行队列异常监控? DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”,进入队列管理页面。 在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: 使用咨询
-
MRS Kafka输出流 - 数据湖探索 DLI
Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
如何调用API - 数据湖探索 DLI
如何调用API 构造请求 认证鉴权 返回结果
-
API接口返回的中文字符为乱码,如何解决? - 数据湖探索 DLI
API接口返回的中文字符为乱码,如何解决? DLI接口返回的结果编码格式为“UTF-8”,在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如,参考如下实现对返回的response.content内容做编码格式转换,确保返回的中文格式不会乱码。 print(response
-
使用DLI运行几万个作业,如何管理? - 数据湖探索 DLI
使用DLI运行几万个作业,如何管理? 用户需要使用DLI运行几万个作业,建议如下: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。具体请参考《数据湖探索用户指南》。 父主题: 作业管理
-
如何查看DLI Spark作业的实际资源使用情况 - 数据湖探索 DLI
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,
-
创建IAM用户并授权使用DLI - 数据湖探索 DLI
创建IAM用户并授权使用DLI 如果您需要对您所拥有的DLI资源进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求,不需要创建独立的
-
Flink jar 如何连接SASL - 数据湖探索 DLI
Flink jar 如何连接SASL_SSL? 使用Flink Jar连接开启SASL_SSL认证的Kafka。 具体操作请参考使用Flink Jar连接开启SASL_SSL认证的Kafka 父主题: Flink Jar作业相关问题