检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 注意事项 通过OBS转储支持两种中间文件方式: ORC: ORC格式不支持Array数据类型,如果使用ORC格式,需先在DWS中创建外部服务器,具体可参考《数据仓库服务数据库开发指南》中“创建外部服务器”章节。 CSV:
下载JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 (推荐)方式一:在Maven获取JDBC安装包 单击DLI JDBC Driver中获取最新版本的JDBC安装包。 JDBC版本2.X版本功能重构
”,可能是由于缺少C++编译器导致的报错,建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包,解压安装包。 将"dli-sdk-python-<version>
运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息,如果没有,请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问题2:运行Spark作业,作业运行失败,作业日志中提示KrbException:
和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。 如果是连接MRS HBase,则还需要添加MRS的主机节点信息,具体步骤如下:
系统提示信息,执行成功时,信息可能为空。 connection_id 否 String 增强型跨源连接ID,用于标识跨源连接的UUID。 privileges 否 Array of Object 跨源连接各个授权项目的信息。具体参数请参考表3。 表3 privileges参数 参数名称 是否必选
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能,开启安全模式后,将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时,需要先进行以下准备工作。 选择CSS Elasticsearch
配置Flink作业权限 Flink作业权限操作场景 针对不同用户,可以通过权限设置分配不同的作业,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和作业的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时,该用户所在用户组的所属区域需具有Tenant
配置DLI读写外部数据源数据 配置DLI读写外部数据源数据的操作流程 配置DLI与数据源网络连通(增强型跨源连接) 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证 管理增强型跨源连接 典型场景示例:配置DLI与内网数据源的网络联通 典型场景示例:配置DLI 与公网网络连通
什么是委托? 各云服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 例如:在DLI新建Flink作业所需的AKSK存储在数据加密服务DEW中,如需允许
-version,可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量,在“控制面板”选择“系统”属性,单击“环境变量”。 选择“系统变量”,新建 “JAVA_HOME 变量”,路径配置为JDK安装路径,例如:“D:\Java\jdk1
test_hbase limit 100; 查询下压 通过hbase进行数据过滤,即HBase Client将过滤条件传给HBase服务端进行处理,HBase服务端只返回用户需要的数据,提高了Spark SQL查询的速度。对于HBase不支持的过滤条件,例如组合Rowkey的查询,直接由Spark
true, "message": "Deleted" } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 增强型跨源连接相关API(废弃)
描述信息 输入规则描述信息。 防御规则动作 配置当前SQL防御规则动作的阈值参数。 SQL规则支持的类型: 提示:配置系统对SQL请求满足防御规则后是否进行日志记录和提示处理。开启按钮时,如果当前规则有变量参数,需同时配置阈值。 拦截:配置系统对SQL请求满足防御规则后是否进行拦截
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建路由,自定义增强型跨源连接的下一跳的路由信息为127.0.0.0。 { "name": "route", "cidr": "127.0.0.0" } 响应示例
Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName
创建DLI表关联Oracle之前需要创建增强型跨源连接。 管理控制台操作请参考增强型跨源连接。 由于仅支持增强型跨源方式连接Oracle,且仅按需专属队列和包周期队列支持增强型跨源。因此仅按需专属队列和包周期队列支持在SQL作业中连接Oracle数据库。 语法格式 1 2 3 4 5
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题: Java SDK
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 获取Token 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在JDBC连接参数中配置Token信息,获取Token的详细步骤如下。 发送POST