检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase，请在增强型跨源的主机信息中添加MRS集群所有节点的主机IP信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
作业包含以下类型：DDL、DCL、IMPORT、QUERY和INSERT。其中，IMPORT与导入数据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有： 查询作业状态 查询作业详细信息 查询作业结果-方式二（废弃） 导出查询结果 查询所有作业
Hudi HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎，它与大数据生态无缝融合，实现海量数据秒级交互式查询，并支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操作，即支持SELECT语法来查询Hudi表中的数据。
区域，可减少网络时延，提高访问速度。 项目 每个区域默认对应一个项目，这个项目由系统预置。 套餐包类型 弹性资源池CU时套餐包：按照“CU时”收取计算费用，用户在弹性资源池添加的队列上运行作业时按照弹性资源池CU时计费。 扫描数据量套餐包：按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。
接基于pip把Python库安装到执行机器上，对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源，那如何来保证用户可以更好的运行他的程序呢？ DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库（具体可以参考”数据湖探索 DLI > 用户指南> 数据管理>
选择执行导出作业的队列。SQL作业只能在队列类型为“SQL队列”下执行。 压缩格式 否 导出查询结果数据的压缩方式，选择如下压缩方式。 none bzip2 deflate gzip 存储路径 是 选择导出的作业结果的OBS桶路径。 如果导出方式选择的是“随导出创建指定路径” 在选择桶路径后，需手动输入自
如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？ 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度
参数类型 说明 zip_file 是 String 从OBS上导入的作业zip文件路径，支持填写文件夹，导入文件夹下的所有zip文件。 说明： 文件夹中只能包含zip文件。 is_cover 否 Boolean 如果导入的作业与服务已有的作业同名，是否覆盖服务中已有的作业。 响应消息
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka和ecs的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->
在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态 DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据，如DIS、OBS、Clou
enable配置项，所以不涉及Apache Spark 命令注入漏洞（CVE-2022-33891）。 该漏洞主要影响在启用了ACL（访问控制列表）时，可以通过提供任意用户名来执行命令导致数据安全受到威胁。 DLI在设计时充分考虑了数据安全和数据隔离，因此没有启用相关的配置项，所以不会受到这个漏洞的影响。
的性能或者平台稳定性。 DLI在Spark SQL引擎中增加SQL防御能力，基于用户可理解的SQL防御策略，实现对典型大SQL、低质量SQL的主动防御，包括事前提示、拦截和事中熔断，并不强制改变用户的SQL提交方式、SQL语法，对业务零改动且易落地。 DLI支持可视化配置SQL防
] } } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 操作成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： 表相关API（废弃）
在DLI使用Hudi提交Spark Jar作业 提交Spark jar作业的场景需要手动配置由LakeFormation提供元数据服务的Hudi锁实现类，请参照 Hudi锁配置说明。 登录DLI管理控制台，选择“作业管理 > Spark作业”，进入到Spark作业的界面。 提交Hudi相关的Spark
资源标签相关API 批量添加资源标签 批量删除资源标签 查询资源实例数量 查询资源实例列表 查询指定资源类型的标签信息 查询指定资源实例的标签信息
separator （VARCHAR） test-flink - flink - one-two-ww-three - 查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
separator （VARCHAR） test-flink - flink - one-two-ww-three - 查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka和ecs的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 >
Prometheus集群。 绑定AOM Prometheus实例后将新提交运行的作业监控指标上报到AOM，并按照AOM计费规则收费。 绑定Prometheus需具备访问AOM Prometheus的权限，否则绑定失败。 具体权限内容包括： aom:prometheusInstances:list aom:metric:list
在”组件管理 > Kafka > 服务配置”中查找配置项“ssl.mode.enable”，并设置为“true”，并重启kafka。 登录MRS集群的Manager，下载用户凭据：“系统设置 > 用户管理” ，单击用户名后的“更多 > 下载认证凭据”。 根据用户凭据生成相应的truststore
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
