检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Flink jar作业编辑界面设置作业参数。 类名 com.dli.demo.dew.DataGen2FileSystemSink 参数 --checkpoint.path
限。 更新DLI委托权限(dli_management_agency) 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面,按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。 委托说明如表1所示。 表1 dli_management_agency委托包含的权限
查询作业结果-方式一(废弃) 功能介绍 该API用于在执行SQL查询语句的作业完成后,查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 当前接口已废弃,不推荐使用。 该API只能查看前1000条的结果记录,若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。
查询作业结果-方式二(废弃) 功能介绍 该API用于在执行SQL查询语句的作业完成后,查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 该API只能查看前1000条的结果记录,若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。 当前接口已废弃,不推荐使用。
怎样排查DLI计费异常? 如果您在使用DLI服务的过程中,感觉计费有异常,可按照以下步骤进行排查: 包周期资源与预付费资源,本节操作重点介绍怎样排查按需资源使用中的扣费异常。 SQL作业 登录DLI管理控制台。 进入“作业管理”>“SQL作业”页面。 查看需要确认的作业详情,确认在扣费时间段内是否有以下操作:
配置SQL防御规则 什么是SQL防御 大数据领域的SQL引擎层出不穷,在带给解决方案多样性的同时,也暴露出一定的问题,例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击,影响系统的性能或者平台稳定性。
预览SQL作业查询结果 功能介绍 该API用于在执行SQL查询语句的作业完成后,查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 该API只能查看前1000条的结果记录,且不支持分页查询。若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。
产品优势 纯SQL操作 DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载,存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。 企业级多租户 支持计算
导入表数据 执行查询 执行以下SQL语句,对所有司机在某段时间的异常告警事件进行统计。 常用查询语句可以在SQL编辑器中,选择“更多 > 设为模板”设置为模板。设为模板后,后续可以在模板管理页面找到对应模板进行SQL查询和修改。 具体操作为:选择“作业模板 > SQL模板 > 自定义模板”
创建指定地址连通性测试请求 功能介绍 该API用于往指定队列发送地址连通性测试请求,并将测试地址插入表内。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/queues/{queue_name}/connection-test
创建DLI表关联OpenTSDB 功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
创建DLI表关联OpenTSDB 功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
IntegerType, StringType, Row from pyspark.sql import SparkSession 创建会话并设置AK/SK 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1
增强型跨源连接绑定弹性资源池 操作场景 如果其他弹性资源池想要通过已创建的增强型跨源连接来连接数据源,可以在增强型跨源连接页面绑定弹性资源池。本节的操作指导介绍增强型跨源连接绑定弹性资源池的操作指导。 约束限制 增强型跨源仅支持包年包月队列和按需专属的弹性资源池/队列。 绑定跨源的DLI队列网段和数据源网段不能重合。
URL函数 提取函数 描述:提取函数用于从HTTP URL(或任何符合RFC 2396标准的URL)中提取内容。 [protocol:][//host[:port]][path][?query][#fragment] 提取的内容不会包含URI的语法分割符,比如“:”或“?”。 u
单个用户感观字符(这是语言书写系统的基本单位),但是函数会将每个代码点视为单独的单位。 lower和upper函数不执行某些语言所需的区域设置相关、上下文相关或一对多映射。 chr(n) → varchar 描述:返回Unicode编码值为n的字符值。 select chr(100);
创建DLI表关联DCS 功能描述 使用CREATE TABLE命令创建DLI表并关联DCS上已有的Key。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表
创建DLI表关联DCS 功能描述 使用CREATE TABLE命令创建DLI表并关联DCS上已有的Key。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表
创建DLI表关联HBase 功能描述 使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DL
创建DLI表关联HBase 功能描述 使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DL