检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击右上方登录的用户名，在下拉列表中选择“统一身份认证”。 在左侧导航栏中，单击“委托”。 在“委托”页面，单击“创建委托”。 在“创建委托”页面，设置如下参数： 委托名称：按需填写，例如“dli_obs_agency_access”。 委托类型：选择“云服务”。 云服务：（“委托类型”选
IntegerType, StringType, Row from pyspark.sql import SparkSession 创建会话并设置AK/SK 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1
单击“确定”。 （可选）在标签列表中，单击“操作”列中“删除”可对选中的标签进行删除。 根据标签查找作业 对于已经添加过标签的作业，用户可以通过设置标签过滤条件进行搜索，以便快速查找到作业。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。
(orc_table_property = value [, ...] ) ] 限制 创建分区表时，如果bucket_count为-1且建表语句中未设置buckets，则使用默认值16。 默认外部表存储位置{lakeformation_catalog_url}/{schema_name}.
处于单task读写可接受范围之内。 如果是单个Bucket的数据量超过了该值范围，可能会有什么影响？ 读写任务可能会出现OOM的问题，解决方法就是提升单个task的内存占比。 读写性能下降，因为单个task的处理的数据量变大，导致处理耗时变大。 父主题： Hudi数据表设计规范
作业的运行进度，因为没有子作业在运行，sub_job_id不展示。 如果有子作业在运行中，则展示该子作业的运行进度，progress的计算方法为：子作业已经完成的task数除以子作业总的task数。此时progress表示子作业的运行进度，sub_job_id展示。 sub_jobs
conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例，具体的流程是： 远程登录ECS，通过hbase shell命令查看表信息。其中，“hbtest”是要查询的表名。 describe 'hbtest' （可选）如果不存在
--创建视图 create view orders_by_date as select * from orders; --设置表的注释信息，可以通过设置注释信息为NULL来删除注释 COMMENT ON TABLE people IS 'master table'; --创建一个具有列名id、name的新表：
SQL编辑页面，自定义配置中修改该参数值，即可达到快速修改UDF参数值的目的。 操作步骤 自定义函数中提供了可选的open(FunctionContext context)方法，FunctionContext具备参数传递功能，自定义配置项通过此对象来传递。自定义函数的参数传递操作步骤如下： 在Flink OpenSource
SQL编辑页面，自定义配置中修改该参数值，即可达到快速修改UDF参数值的目的。 操作步骤 自定义函数中提供了可选的open(FunctionContext context)方法，FunctionContext具备参数传递功能，自定义配置项通过此对象来传递。自定义函数的参数传递操作步骤如下： 在Flink OpenSource
可进行日志分析，评估现网SQL质量，提前感知潜在SQL风险，并做出有效预防措施。 本节操作介绍创建SQL防御规则以增加SQL防御能力的配置方法。 DLI SQL防御规则约束与限制 仅Spark 3.3.x及以上版本支持SQL防御功能。 同一个队列，同一个动作的防御规则仅支持创建一条。
cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启：true 关闭：false
{ NULL | ERROR | DEFAULT <defaultExpr> } ON ERROR ]) 从JSON字符串中提取标量。 此方法在JSON字符串中搜索给定的路径表达式，如果该路径上的值是标量，则返回该值。如果不是标量值，则无法返回。默认情况下，该值以STRING类型
DLI预置的SQL模板中TPC-H样例数据说明 TPC-H样例数据简介 TPC-H（商业智能计算测试） 是交易处理效能委员会（TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前，在学术
基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式，云上多种数据源、ECS自建数据库以及线下数据库，数据无需搬迁，即可实现对云上多个数据源进行分析，构建企业的统一视图，帮助企业快速完成业务创新和数据价值探索。
登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Spark jar作业编辑界面设置作业参数。 Spark参数： spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access
建议为streaming-source.monitor-interval（最新分区作为临时表）或 lookup.join.cache.ttl（所有分区作为临时表）设置一个相对较大的值。否则，作业容易出现性能问题，避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明
/v1.0/{project_id}/jobs/submit-job，SQL语句调用 dli:table:showPartitions √ × 设置表配置 POST /v1.0/{project_id}/jobs/submit-job，SQL语句调用 dli:table:alterTableSetProperties
计费概述 数据湖探索DLI的计费由不同的计费项组成，不同的计费项有不同的计费模式，如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器，快速计算出购买资源的参考价格。
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标，AOM Prometheus支持免费存储基础指标。 除基础指标外，AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
