检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面，单击选择所需的SDK链接，即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包，解压后目录结构如下：
'hudi_table1', op => 'run', timestamp => 'xxx'); call run_compaction(path => 'obs://bucket/path/hudi_table1', op => 'run', timestamp => 'xxx'); 注意事项 compaction操作仅支持MOR表。
并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tpch文件夹中，并且赋予了只读访问权限，方便用户进行查询操作。 TPC-H的测试和度量指标
在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 在“弹性扩缩容”页面，“变更方式”选择“扩容”，设置扩容的CU值。 图1 弹性扩容 确认费用无误后，单击“确定”。 弹性缩容 当计算业务较小，不需要那么大的队列规格时，可以通过手动变更队列规格来缩容当前队列。
行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( cast_int_to_string
field' hoodie.bucket.index.num.buckets：Hudi表中每个分区划分桶的个数，每个分区内的数据通过Hash方式放入每个桶内。建表或第一次写入数据时设置后不能修改，否则更新数据会存在异常。 hoodie.bucket.index.hash.field
first; --修改分区表的存储位置（需要先在obs上创建目录，执行语句后，无法查到之前插入的那条数据） alter table altercolumn4 partition (c=500) set Location 'obs://bucket/user/hive/warehouse/c500';
性能较差一般不建议使用。 建议 事实表采用日期分区表，维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点： 事实表：数据总量大，增量大，数据读取多以日期做切分，读取一定时间段的数据。 维度表：总
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间，监控指标列表和维度定义，用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标 指标ID 指标名称
为参数传给Executor去执行。 Executor获取文件路径的时候，仍然需要使用SparkFiles.get(“filename”)的方式获取。 SparkFiles.get()方法需要spark初始化以后才能调用。 图1 添加其他依赖文件 代码段如下所示 package main
条数等于被连接表的各记录条数的乘积，若需要进行笛卡尔积连接，需使用专门的关键词CROSS JOIN。CROSS JOIN是求笛卡尔积的标准方式。 注意事项 所要进行JOIN连接的表必须是已经存在的表，否则会出错。 示例 返回student_info与course_info两张表中学生姓名与课程名称的所有组合。
add columns(new_col int comment 'add new column'); alter table delta.`obs://bucket_name0/db0/delta_table0` add columns(new_col string); 系统响应 通
( 'connector' = 'filesystem', 'format' = 'parquet', 'path' = 'obs://xx' ); insert into sink select * from kafkaSource; 向kafka的作为source的topic中插入下列数据：
百分比与运行时计算的随机值之间的比较）。系统采样中行的选择依赖于使用的connector。例如，如果使用Hive数据源，这将取决于数据在OBS上的布局。这种采样方法不能保证独立的抽样概率。 SELECT * FROM users TABLESAMPLE SYSTEM (75); 父主题：
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群
DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 代表需要被四舍五入的值。 该命令与传统四舍五入方式的区别在于，对数字5进行操作时，由前一位数字来决定，前一位数字为奇数，增加一位，前一位数字为偶数，舍弃一位。 参数a非DOUBLE类型时，
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 create table printSink ( attr_name
支持查看以下信息： 是否支持IPv6：如果创建增强型跨源连接时您选择的子网是开启IPv6的，则您创建的增强型跨源连接也是支持IPv6的。 主机信息：访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。详细信息请参考修改弹性资源池的主机信息。 父主题： 管理增强型跨源连接
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 create table blackhole_table ( attr_name attr_type
单击右上角“导出作业”，打开“导出作业”对话框。 图2 导出作业 选择保存作业的OBS桶。单击“下一步”。 选择待导出的作业。 默认导出所有作业，也可以勾选“自定义导出”选择需要导出的作业。 单击“确认导出”，完成导出作业。 导入作业 用户可以将保存在OBS桶中的Flink作业配置文件导入至DLI的Flink作业管理中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
