检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中,通过该OBS文件路径创建的DLI表进行数据查询时,无法查询到数据。 例如,使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
"Submit restart job success, it need some time to cancel jobs, please wait for a while and check job status", "job_id": "d90396c7-3a25-494
配置DLI与数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题: 配置DLI读写外部数据源数据
跨源认证概述 什么是跨源认证? 跨源分析场景中,如果在作业中直接配置认证信息会触发密码泄露的风险,因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上
开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_type 否 String 资源类型。 vm:ecf集群 container:容器化集群(k8s) cu_spec 否 Integer 队列的规格大小。对于包周期队列,表示包周期部分的CU值;对于按需队列,表示用户购买队列时的初始值。
复合键的分隔符(默认为"_"),例如,指定为"$"将导致文档 ID 为"KEY1$KEY2$KEY3"。 failure-handler 否 fail String 对 Elasticsearch 请求失败情况下的失败处理策略。有效策略为: fail:如果请求失败并因此导致作业失败,则抛出异常。 ignore:忽略失败并放弃请求。
sum(sal)>2000; 报错如下: Query 20210630_084610_00018_wc8n9@default@HetuEngine failed: line 1:63: Column 'aaa' cannot be resolved 父主题: DQL 语法
LoggerFactory.getLogger(DataGen2FileSystemSink.class); public static void main(String[] args) { ParameterTool params = ParameterTool.fromArgs(args);
执行SQL作业时产生数据倾斜怎么办? 什么是数据倾斜? 数据倾斜是在SQL作业执行中常见的问题,当数据分布不均匀的情况下,一部分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
resource_name String 资源名。 status String "UPLOADING"表示正在上传。 "READY"表示资源包已上传。 "FAILED"表示资源包上传失败。 underlying_name String 资源包在队列中的名字。 owner String 资源包拥有者。
管理增强型跨源连接 查看增强型跨源连接的基本信息 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题: 配置DLI读写外部数据源数据
rows) 不使用Try查询失败: SELECT CAST(origin_zip AS BIGINT) FROM shipping; Query failed: Cannot cast 'P332a' to BIGINT 使用Try返回NULL: SELECT TRY(CAST(origin_zip
启时Spark SQL作业是否重新提交。 false:禁用作业重试,所有类型的命令都不重新提交,一旦driver故障,作业将标记为失败(FAILED)。 true:启用作业重试,即在driver故障时,所有类型的作业都将重新提交。 注意: 如果配置为true,在执行INSERT等幂等类型的操作时(例如insert
"2020-06-02 13:34:28" }, "status": "job_submit_fail" } ], "msg_confirm_topic": "hw/events/messages/dli/message/confirm"
增强型跨源连接概述 为什么要创建增强型跨源连接? DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案:
String, destination String, dept String, yoj int) COMMENT 'Employee details' partitioned by (year int) STORED AS TEXTFILE; ALTER TABLE hetu_rename_table
SELECT 2||ARRAY[1];-- [2, 1] array_contains(x, element) → boolean 描述:如果数组x中包含element,则返回true。 select array_contains (array[1,2,3,34,4],4); -- true
{"weight":9,"type":"pear"}], "bicycle":{"price":19.95,"color":"red"} }, "email":"amy@only_for_json_udf_test.net", "owner":"Tony" } 提取owner字段信息,返回Tony。
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后,支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。 约束限制 已获取MR