检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本示例使用Spark基础镜像为例，使用docker pull方式下载基础镜像到1中的容器镜像环境。 docker pull 基础镜像下载地址 基础镜像下载地址参考使用自定义镜像增强作业运行环境。 示例，Spark基础镜像下载： docker pull swr.xxx/dli-pu
华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以下销售许可证及软件著作权证书，供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题： 安全
10、Flink1.11版本停止服务（EOS）。 影响 DLI Flink 1.10、Flink1.11版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Flink引擎，推荐使用DLI Flink 1.12版本。 正在使用Flink 1.10、Flink1
00:00（北京时间）将Spark 2.3.2版本停止服务（EOS）。 影响 DLI Spark 2.3.2版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Spark引擎，推荐使用DLI Spark 2.4.5版本。 正在使用DLI Spark
CLUSTER BY 功能描述 按字段实现表的分桶及桶内排序。 语法格式 1 2 SELECT attr_expr_list FROM table_reference CLUSTER BY col_name [,col_name ,...]; 关键字 CLUSTER BY：
CLUSTER BY 功能描述 按字段实现表的分桶及桶内排序。 语法格式 1 2 SELECT attr_expr_list FROM table_reference CLUSTER BY col_name [,col_name ,...]; 关键字 CLUSTER BY：
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包（DLI SDK，Data Lake Insight Software Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
00:00（北京时间）将DLI Flink 1.7版本停止服务（EOS）。 影响 DLI Flink 1.7版本停止服务（EOS）后，不再提供该软件版本相关的任何技术服务支持。建议您在执行作业时选择新版本的Flink引擎，推荐使用DLI Flink 1.12版本。 正在使用Flink 1
Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用
图12 创建程序包 步骤7：创建Spark Jar作业 登录DLI控制台，单击“作业管理 > Spark作业”。 在“Spark作业”管理界面，单击“创建作业”。 在作业创建界面，配置对应作业运行参数。具体说明如下： 所属队列：选择已创建的DLI通用队列。例如当前选择步骤1：创建DLI
如何获取AK/SK？ 访问密钥即AK/SK（Access Key ID/Secret Access Key），表示一组密钥对，用于验证调用API发起请求的访问者身份，与密码的功能相似。用户通过调用API接口进行云资源管理（如创建集群）时，需要使用成对的AK/SK进行加密签名，确保
是否开启了Checkpoint。如果未开启则需要开启Checkpoint参数，重新运行作业生成OBS数据文件。 开启Checkpoint步骤如下。 到DLI管理控制台，左侧导航栏选择“作业管理 > Flink作业”，在对应的Flink作业所在行，操作列下单击“编辑”。 在“运行
企业项目必须相同，如果不同，需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和RDS MySQL实例保持一致。 步骤一：数据准备 RDS的MySQL的数据库实例上创建数据库和表。 登录RDS管理控制台，在“实例管理”界面，选择已创建的MySQL实例，选择操作列的“更多
输出通道类型，“obs”表示输出到对象存储服务。 region 是 对象存储服务所在区域。 ak 否 访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。 sk 否 Secret Access Key，与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。 encode 是
MRS安全集群已开启Kerberos认证。 Kafka MRS Kafka开启Kerberos认证。 维表 HBase MRS安全集群已开启Kerberos认证。 操作步骤 下载数据源的认证凭证。 登录MRS Manager界面。 选择“系统 > 权限 > 用户”。 单击“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5
并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤： 步骤1：获取消费数据。获取账户的实际消费数据。 步骤2：分析账户消费结构并优化。在DLI上分析账户消费结构，找出开支较大的资源或用户，并给出降底成本的优化措施。 资源和成本规划
此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和DWS集群保持一致。 步骤一：数据准备 DWS集群上创建数据库和表。 参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。 执行以下命令连接DWS集群的默认数据库“gaussdb”：
EOS：End of Service & support，停止该版本的服务，建议您在执行作业时选择最新版本的引擎。在该日期之后，不再提供该软件版本的任何技术服务支持。 父主题： 版本支持公告
security.AccessControlException: verifyBucketExists on {{桶名}}: status [403] 问题现象 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException:
开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI下UDF函数开发流程参考如下： 图1 开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 新建Maven工程，配置pom文件 IntelliJ IDEA 参考操作步骤说明，编写UDF函数代码。 2 编写UDF函数代码
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
