正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业”,在作业列表中选择待操作的Flink OpenSource SQL作业。 单击操作列的“编辑”,进入作业编辑页面。 在右侧的“运行参数”配置区域,选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时,需要在自定义配置中配置委托信息,其中key为"flink.dli.job.agency
使用该特性需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。 提交工单申请开启查询结果写入桶特性的白名单。 如果使用maven构建,加入huaweicloud-dli-jdbc依赖的maven配置项为: 1 2 3 4 5 <dependency>
跨源认证。 创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 如果仅使用SSL类型,则需要同时配置以下参数: 'properties.security.protocol '= 'SSL'; 如果使用SASL_SSL类型,则需要同时配置以下参数: 'properties
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证,将数据源的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问数据源。 MRS Kafka开启Kerberos认证,未开启SSL认证时,创建Kerberos类型的认证。建表时通过krb_auth_name关联跨源认证。
作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS,具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码(Flink
说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和RDS
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
String USER_BUCKET_NAME为用户的桶名,需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key, 其Key对应的value为用户的AK(Access Key Id),需要具备访问OBS对应桶的权限。 flink.hadoop.fs.obs
使用该功能,所有涉及OBS的桶,都需要进行配置AKSK。 语法格式 在Spark Jar作业编辑界面,选择配置优化参数,配置信息如下: 不同的OBS桶,使用不同的AKSK认证信息。 可以使用如下配置方式,根据桶指定不同的AKSK信息,参数说明详见表1。 spark.hadoop
单字节,建议使用不可见字符,如\u0007。 db_obs_server 否 已在数据库中创建的外部服务器,如obs_server。 如何创建外部服务器,具体操作步骤可参考《数据仓库服务数据库开发指南》中创建外部服务器章节。 如果编码方式为orc格式时需指定该参数。 obs_dir 是 中间文件存储目录。格式为{桶名}/{目录名},
单字节,建议使用不可见字符,如\u0007。 db_obs_server 否 已在数据库中创建的外部服务器,如obs_server。 如何创建外部服务器,具体操作步骤可参考《数据仓库服务数据库开发指南》中创建外部服务器章节。 如果编码方式为orc格式时需指定该参数。 obs_dir 是 中间文件存储目录。格式为{桶名}/{目录名},
可以使用to_timestamp或者to_localtimestamp进行转换。 示例 将amount值转换成字符串,长度为转换后的实际长度,配置的长度无效。 insert into temp select cast(amount as VARCHAR(10)) from source_stream;
可以使用to_timestamp或者to_localtimestamp进行转换。 示例 将amount值转换成字符串,长度为转换后的实际长度,配置的长度无效。 insert into temp select cast(amount as VARCHAR(10)) from source_stream;
通过配置pwd_auth_name字段写入创建的Password类型的跨源认证名称。如果配置该参数则不需要在SQL中配置数据源的账号密码。 具体的建表操作指导请参考DLI 语法参考。 Flink OpenSource SQL语法参考:创建DWS源表 父主题: 使用DLI的跨源认证管理数据源访问凭证
提交作业时提示作业桶权限不足怎么办? 问题描述 已经配置DLI作业桶,且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办? 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有
单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页,选择要操作的弹性资源池,单击操作列的“添加队列”。 配置队列的基础配置,具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200 Success 服务器已成功处理了请求。通常,这表示服务器提供了请求的网页。 201 Created
Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项 参数 说明 配置示例 spark.network.crypto.enabled 该参数用
赋权:当前用户可将跨源认证的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该跨源认证的权限,但不能回收该跨源认证所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该跨源认证的权限。 修改当前用户的权限 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。