检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NOT EXISTS table_name (id STRING) USING parquet; 2. 执行show create table查看TBLPROPERTIES下的"verison"字段的值 "v1"为V1表；"v2"则为V2表。 如需修改V1表为V2表请提交工单联系客户支持获取操作帮助。
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
计费样例 计费场景 某公司用户A申请了256CUs的弹性资源池，并将1TB数据存放在DLI表中。该公司想要了解采用哪种计费模式才是性价比最优的方式。 数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作业的计费包括存储计费和计算计费，Flink作业和Spark作业的计费只有计算计费。
I客户端 Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python
对等连接的连接状态： 跨源连接的状态信息，包括以下三种状态：创建中、已激活、已失败。 当连接状态显示为“已失败”时，单击左边对应的，可查看详细的错误信息。 图1 查看增强型跨源连接详情 父主题： 管理增强型跨源连接
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南
执行作业的用户数据库和表权限不足导致作业运行失败 问题现象 Spark作业运行报数据库权限不足，报错信息如下： org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException:
Spark SQL作业，通过在SQL编辑器使用SQL语句执行数据查询等操作。支持SQL2003，兼容SparkSQL，详细语法描述请参见《数据湖探索Spark SQL语法参考》。 发布区域：全部 使用DLI提交SQL作业查询OBS数据 导出SQL作业结果 OBS 2.0支持DLI Spark作业
从控制台获取项目ID的步骤如下： 登录管理控制台。 鼠标悬停在右上角的用户名，选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题： 公共参数
作业处于运行中状态时，向DIS的source通道发送数据，验证DIS的sink通道能否收到数据。发送和接受都有字节数证明接收到数据。 图5 查看校验结果 JAVA样例代码 DIS Flink Connector相关依赖 <dependency> <groupId>com
模式相互转换吗？ 数据湖队列什么情况下是空闲状态？ 怎样排查DLI计费异常？ 已购买套餐包，为什么仍然产生按需计费？ 怎样查看套餐包资源的使用情况？ 怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？ 想要使用扫描套餐包计费，购买队列还要额外收费吗？
sparkSession.sql("insert into css_table values(18, 'John'),(28, 'Bob')"); 查询数据。 sparkSession.sql("select * from css_table").show(); 删除数据表。 sparkSession
sparkSession.sql("insert into testhbase values('12345','abc','xxx')"); 查询数据 1 sparkSession.sql("select * from testhbase").show(); 插入数据后： 开启Kerberos认证
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称，进入该数据库“表管理”页面。
在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。 查看并了解更新委托的提示信息，单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后，在IAM控制台的委托列表中，可查看到dli_management_agency的委托信息。 步骤1：开发Jar包并上传数据至OBS
设置完成后，单击“结果图形化”，查看所有队列的扩缩容策略设置情况。 图3 弹性资源池队列扩缩容策略结果图形化 图4 弹性资源池队列扩缩容策略图像化展示 后续到了队列扩缩容策略配置的时间，会生成一个扩缩容任务。具体可以在“作业管理 > SQL作业”下查看作业类型为“SCALE_QUEUE”的作业。
opentsdb_new_test values('Penglai', 'abc', '2021-06-30 18:00:00', 30.0)"); 查询数据 1 sparkSession.sql("select * from opentsdb_new_test").show(); 插入数据后：
典型场景示例：迁移Hive数据至DLI 典型场景示例：迁移Kafka数据至DLI 典型场景示例：迁移Elasticsearch数据至DLI 典型场景示例：迁移RDS数据至DLI 典型场景示例：迁移DWS数据至DLI 父主题： 数据迁移与数据传输
任务。 购买弹性资源池并在弹性资源池中添加队列的具体操作步骤请参考创建弹性资源池并添加队列。 全局共享模式： 全局共享模式是一种根据SQL查询中实际扫描的数据量来分配计算资源的模式，不支持指定或预留计算资源。 DLI服务预置的“default”队列即为全局共享模式的计算资源，资源
10:00左右才进行扣费。 通过账单查找云服务资源并停止计费（适用于按需的计算资源） 使用DLI资源ID查找资源时，包含以下操作： 在费用中心账单中获取DLI资源ID。 并根据账单中资源ID查看资源名称。 根据资源名称在DLI云服务的控制台查找资源。 删除资源将资源停止计费。 详细操作步骤如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
