检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
into opentsdb_test values('aaa', 'abc', '2021-06-30 18:00:00', 30.0)") 查询数据 result = sparkSession.sql("SELECT * FROM opentsdb_test") 通过DataFrame
"lakeformation:database:create", "lakeformation:database:drop", "lakeformation:database:describe",
【SPARK-21492】:修复排序合并加入中的内存泄漏。 【SPARK-27812】:K8S客户端版本提升到4.6.1。 DLI从Spark 3.x版本开始不支持内置地理空间查询函数。 父主题: 版本支持公告
sql("INSERT INTO TABLE person VALUES ('John', 30),('Peter', 45)".stripMargin) 查询数据 1 sparkSession.sql("SELECT * FROM person".stripMargin).collect().foreach(println)
原因分析 DLI源表对应字段cir为double类型。 图1 创建源表 目标表对应字段类型为decimal(9,6)。 图2 创建目标表 查询源表数据,发现导致问题产生的记录ctr值为1675,整数位(4位)超出所定义的decimal精度(9 – 6 = 3位),导致double
请求参数 参数名称 是否必选 参数类型 说明 plan_ids 是 Array of Long 待删除的队列扩缩容计划的ID列表,具体获取请参考查看队列定时扩缩容计划(废弃)。例如:"plan_ids": [8,10]。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
opentsdb_test values('futian', 'abc', '1970-01-02 18:17:36', 30.0)") 查询数据 1 sparkSession.sql("select * from opentsdb_test").show() 返回结果: 通过DataFrame
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use Proxy
test_hbase values('12345','abc','guiyang',false,null,3,23,2.3,2.34)") 查询数据 1 sparkSession.sql("select * from test_hbase").show () 返回结果: 通过DataFrame
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或
源不会立即停止服务,资源进入宽限期。您需支付按需资源在宽限期内产生的费用,相关费用可在“管理控制台 > 费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
'12333' or id='11111'").show() id、location、city:限定了长度,插入数据时须按长度给定数据值,否则查询时会发生编码格式错误。 操作结果; 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南
DROP_QUEUE :删除队列 GRANT_PRIVILEGE: 赋权 REVOKE_PRIVILEGE:权限回收 SHOW_PRIVILEGES:查看其它用户具备的权限 RESTART:重启队列 SCALE_QUEUE:规格变更 说明: 若需更新的权限列表为空,则表示回收用户在该队列的所有权限。
怎样配置DLI队列与数据源的网络连通? 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能,底层采用对等连接的方式打通与目的数
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
请求执行是否成功。“true”表示请求执行成功。 message String 无 请求示例 更新跨源认证的名称为rds3。 { "auth_info_name": "rds3" } 响应示例 { "is_success": true, "message": "Update
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
典型场景示例:迁移Hive数据至DLI 典型场景示例:迁移Kafka数据至DLI 典型场景示例:迁移Elasticsearch数据至DLI 典型场景示例:迁移RDS数据至DLI 典型场景示例:迁移DWS数据至DLI 父主题: 数据迁移与数据传输
个队列名称使用逗号“,”分隔。 plan_id 是 String 待修改的队列扩缩容计划的ID。多个ID使用逗号“,”分隔。具体获取请参考查看队列定时扩缩容计划(废弃) 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_name 是 String 队列扩缩容
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口,您可以使用该接口并选择相应的队列来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):