检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
提交其他SQL时，需要清除上述配置参数，避免影响其他任务执行结果。 父主题： Spark on Hudi开发规范
RENAME TABLE 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME语法用于修改表名。
您可以在Flink OpenSource SQL编辑页面，自定义配置中配置参数pipeline.global-job-parameters，在UDF代码中获取该参数并使用。
您可以在Flink OpenSource SQL编辑页面，自定义配置中配置参数pipeline.global-job-parameters，在UDF代码中获取该参数并使用。
认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
SET 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... SET|UNSET语法用于修改表属性。
如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 -W：默认管理员用户的密码。
DLI域名公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。 DLI自定义的Spark3.1.1镜像，需要把第三方依赖jar放到哪个路径下呢？
配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
DLI在设计时充分考虑了数据安全和数据隔离，因此没有启用相关的配置项，所以不会受到这个漏洞的影响。 父主题： DLI产品咨询类
配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
问题描述 已经配置DLI作业桶，且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办？ 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。
获取MRS集群全部节点的ip和域名映射，在DLI跨源连接修改主机信息中配置host映射。 如何添加IP域名映射，请参见《数据湖探索用户指南》中“修改主机信息”章节。
ADD COLUMNS 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ADD COLUMNS命令用于为现有表添加新列。
主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。 示例：对此规则或建议从正、反两个方面给出。
操作 编辑：可修改当前作业配置，重新执行作业。 SparkUI：单击后，将跳转至Spark任务运行情况界面。 说明： 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。 终止作业：终止启动中和运行中的作业。
-- ResponseCode: 403, ResponseStatus: Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
