检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多个ID以逗号分隔。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”:保存,obsDir表示脏数据存储路径。 “1”:抛出异常。 “0”:忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf
创建包年/包月资源:BSS Administrator 创建标签:TMS FullAccess、EPS EPS FullAccess 使用OBS存储:OBS OperateAccess 创建委托:Security Administrator DLI ReadOnlyAccess 数据湖探索只读权限。
络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理”页面,单击“操作”列“更多”中的“测试地址连通性”,验证队列到外部数据源之
新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图3 配置Project SDK 定义样例工程名和配置样例工程存储路径,单击“Create",下一步单击弹窗中的“Finish”完成工程创建。 图4 完成Project创建 在pom.xml文件中添加如下配置。
1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
、区域项目和全局服务资源。 全局服务资源:全局服务部署时不区分区域,访问全局级服务,不需要切换区域,全局服务不支持基于区域项目授权。如对象存储服务(OBS)、内容分发网络(CDN)等。授权后,用户根据权限使用全局服务的资源。 指定区域项目资源:授权后,IAM用户根据权限使用所选区
getInt(1); int b = rs.getInt(2); } 关闭连接。 conn.close(); 示例 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量System
异常重试最大次数为无限时显示为“无限”,其余为设置的具体值。 从Checkpoint恢复 开启或关闭。 ID 作业ID。 保存点路径 保存点的OBS存储路径。 开启Checkpoint 开启或关闭。 Checkpoint间隔 将作业运行的中间结果保存到OBS的间隔时间,单位为秒。 Checkpoint模式
--^A# width_bucket(x, bound1, bound2, n) → bigint 在具有指定bound1和bound2边界以及n个存储桶的等宽直方图中返回x的容器数量 select value,width_bucket(value,1,5000,10) from (values
M会自动在DLI中创建该表。 表名:选择导入到DLI的哪张表。 高级属性参数-“扩大字符字段长度”:这里选择“是”。由于MySQL和DLI存储中文时编码不一样,所需的长度也不一样,一个中文字符在UTF-8编码下可能要占3个字节。该参数选择为“是”后,在DLI中自动创表时,会将字符
nullValueWrittenAsQuotedEmptyStringCsv为 true来实现。 升级引擎版本后是否对作业有影响: 有影响,导出orc文件中null值存储形式不同。 示例代码: 准备数据: create table test_null(id int,name string) stored as