检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可查看结果;运行失败,显示失败原因),数据库,CPU累计使用量,输出字节。 CPU累计使用量:作业执行过程的CPU消耗总和,单位:Core*ms 输出字节:作业执行完成后输出的字节数。 查找作业 在“SQL作业”页面,可以通过以下方式对作业进行过滤筛选,在页面中显示符合对应条件的作业。
x及以上版本支持SQL防御功能。 同一个队列,同一个动作的防御规则仅支持创建一条。 每条规则最多可以关联50个SQL队列。 每个项目最多可以创建1000条规则。 创建SQL防御规则 您可以在DLI SQL防御界面对指定SQL队列添加SQL防御规则,系统会对触发规则的SQL请求进行提示、拦截或熔断操作。
入方向规则:检查本安全组内的入方向网段及端口是否已开放,若没有则添加。 检查网段及端口是否配置。 图2 检查网段及端口是否配置 如果不存在,则进行添加。 图3 添加入方向规则 出方向规则:检查出方向规则网段及端口是否开放(建议所有网段开放)。 检查网段及端口是否配置。 图4 检查网段及端口是否配置。 如果不存在,则进行添加。
5eee8fe fail.the subnet could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。
“桶”,这样就可以在其之上进行计算。 Apache Flink 提供了如下 窗口表值函数(table-valued function, 缩写TVF)把表的数据划分到窗口中: 滚动窗口 滑动窗口 累积窗口 逻辑上,每个元素可以应用于一个或多个窗口,这取决于所使用的窗口表值函数的类
名称。使用跨源认证则无需在作业中配置账号和密码。 )" ) 表1 创建表参数 参数 说明 url DWS的连接地址,需要先创建跨源连接,管理控制台操作请参考《数据湖探索用户指南》。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,可以使用DWS
急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个SQL设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。 使用须知 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级
CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。 使用keytool工具生成keystore和truststore文件,其中需要使用到安全集群的安全证书(CloudSearchService.ce
> 下载”。 导出作业结果到指定桶地址 除了使用默认桶存储作业结果,用户还可以导出作业结果到指定的桶地址,提高作业结果管理的灵活性,便于作业结果的组织和管理。 控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则可以通过该功能将数据导出到OBS获取。具体操作步骤如下:
否 当encode为user_defined时,可以通过配置该参数指定用户自实现编码类的入参,仅支持一个string类型的参数。 注意事项 无。 示例 CSV编码格式:数据输出到DIS通道,使用csv编码,并且以逗号为分隔符,多个分区用car_owner做为key进行分发。数据输出示例:"ZJA710XC"
》。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL格式为"协议头://内网IP:内网端口",PostGre格式为"协议头://内网IP:内网端口/数据库名"。 例如:"jdbc:mysql://192
作业桶,并查看Flink作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。
DEW解密凭据的权限,kms:dek:decrypt。 委托权限示例请参考自定义DLI委托权限和常见场景的委托权限策略。 仅支持Flink1.15版本使用DEW管理访问凭据,在创建作业时,请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。 在DLI管理控制台新建“增强型跨源连接”配置DLI与数据源的网络连通。
作业桶,并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
SQL作业并运行。 步骤6:查询结果。查询Flink作业结果,使用DLV进行大屏展示。 方案优势 跨源分析:数据免搬迁,就可以关联分析存在OBS中的各个渠道的销售汇总数据。 纯SQL操作:DLI已对接多个数据源,直接通过SQL建表就可以完成数据源的映射。 资源和成本规划 表1 资源和成本规划
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点(Endpoint)
本节操作指导您在DLI管理控制台配置DLI作业桶,并获取SQL作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。
tsdb_link_address 是 MRS中OpenTSDB实例的服务地址,格式为http://ip:port或者https://ip:port。 说明: 配置项tsd.https.enabled为true时,需要使用https,注意https暂时不支持证书认证。 tsdb_metrics 是 数据点的metric,支持参数化。
创建非弹性资源池队列(废弃,不推荐使用) 非弹性资源池模式的队列是DLI的上一代计算资源管理方式,按使用需求购买和释放资源,需要预先估计资源使用需求再进行购买。 优先推荐使用弹性资源池队列,提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。