正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 指定处理 Map 中 key 值为空的方法. 当前支持的值有'FAIL', 'DROP'和 'LITERAL'。 Option 'FAIL' 将抛出异常,如果遇到 Map 中 key 值为空的数据。 Option 'DROP' 将丢弃 Map 中 key 值为空的数据项。
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。
jar作业jar包时,不需要额外上传这些依赖包,以免与平台内置依赖包冲突。 查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务,不提供下载功能。 如何使用API通过公网访问DLI? DLI域名公网访问请使用域名访问:dli.{regionid}
a Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群,需要通过增强型跨源连接功能将
创建集群除公共请求消息头参数以外,还有特殊的请求消息头参数,具体如表2所示。 表2 Header说明 名称 是否必选 说明 X-Auth-Token 是 从IAM服务获取的用户Token。 Accept 是 默认值application/json。 Content-Type 是 指定类型为application/json。
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”表说明 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过DataFrame API访问 认证用的password硬编码到代码中或者明文存储都
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”表说明。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过DataFrame API 访问 认证用的ak和sk硬编码到代码中或者明文存储都有
1日0点重置免费资源。 DLI的套餐包中仅存储套餐包按自然周期,即每小时重置,其他套餐包按订购周期重置。 约束限制 套餐包购买后不支持退订。 套餐包和具体的区域绑定,购买的套餐只能在绑定的区域使用,不能在其他区域使用。 计费时优先使用套餐中的资源,套餐中资源使用完后,超出部分按需付费。
在IAM控制台创建用户组,并授予DLI服务普通用户权限“DLI ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖探索,进入DLI主界面
Kafka中,这些信息包括订单ID、订单生成的渠道(即web方式、app方式等)、订单时间、订单金额、折扣后实际支付金额、支付时间、用户ID、用户姓名、订单地区ID等信息。而我们需要做的,就是根据当前可以获取到的业务数据,实时统计每种渠道的相关指标,输出存储到数据库中,并进行大屏展示。
在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 通过DataFrame API 访问 import相关依赖 1 2 3 from
已获取MRS主机信息。请参考怎样获取MRS主机信息? 修改主机信息 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待修改的增强型跨源连接,单击操作列的“更多 > 修改主机信息”。 在修改主机信息对话框中,填写已获取的主机信息。 主机信息格式:hostIP hostName。多个主机信息以换行分隔。
创建CSS类型跨源认证 操作场景 通过在DLI控制台创建的CSS类型的跨源认证,将CSS安全集群的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问CSS安全集群。 本节操作介绍在DLI控制台创建CSS安全集群的跨源认证的操作步骤。 操作须知 已创建CSS安全集群,且集群满足以下条件:
已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。
如果定义的source stream中的属性和json中的属性名称相同,json_configs可以不用配置。 field_delimiter 否 当encode为csv时,用于指定csv字段分隔符,默认为逗号。 quote 否 可以指定数据格式中的引用符号,在两个引用符号之间的属性分隔符会被当做普通字符处理。
在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”,单击“自定义模板”页签。 在自定义模板列表中,勾选需要删除的模板,支持多选,单击自定义模板列表左上方的“删除”。 用户也可以在自定义模板列表中,勾选需要删除的模板,单击“操作”栏中“更多 > 删除”,删除对应的模板。
创建DLI委托(废弃) 功能介绍 该API用于创建DLI用户委托。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2/{project_id}/agency 参数说明 表1 URI参数 参数名称 是否必选 参数类型
下载成功后,在credentials文件中即可获取AK和SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 获取Token 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在JDBC连接参数中配置Tok
如果定义的source stream中的属性和json中的属性名称相同,json_configs可以不用配置。 field_delimiter 否 当encode为csv时,用于指定csv字段分隔符,默认为逗号。 quote 否 可以指定数据格式中的引用符号,在两个引用符号之间的属性分隔符会被当做普通字符处理。
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 构造依赖信息,创建SparkSession 导入依赖。 涉及到mvn依赖 1