检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源规格包含以下参数: Executor内存 Executor CPU核数 Executor个数 driver CPU核数 driver内存 最终配置结果以修改后数据为准。 Executor内存 在所选资源规格基础上自定义Executor内存规格。 代表每个Executor的内存。通常建议Executor
置的开启时间,不包含设置的结束时间,例如设置时间段00-09,则时间段范围为:[00:00,09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源池扩缩容策略生效规则为:在任意一个时间段周期内,优先满足所有队列的最小CU数。剩余的CU(弹性资源池最大CU-所有队列的最小CU数之和)则根据配置的优先级顺序分配:
partition-name。 create-time 比较分区/文件创建时间,这不是 Hive metaStore 中的分区创建时间,而是文件系统中的文件夹/文件修改时间,如果分区文件夹以某种方式更新,例如将新文件添加到文件夹中,可能会影响数据的使用方式。 partition-time 比较从分区名称中提取的时间。
配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和创建的CSS集群保持一致。 步骤一:数据准备 CSS集群上创建索引并导入数据。
link版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( cast_int_to_string int, cast_String_to_int
费。 管理弹性资源池 弹性资源池不支持切换区域。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池无法直接访问公网。 弹性资源池关联队列 弹性资源池关联队列: 仅支持关联按需计费模式的队列(包括专属队列)。
若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机IP信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
如果使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1
authSource=admin uri uri的格式为:mongodb://username:pwd@host:8635/db 其中以下参数需要修改为实际值: “username”为创建的mongo(DDS)数据库用户名。 “pwd”为创建的mongo(DDS)数据库用户名对应的密码。
M集群的界面,配置集群参数。 其中CDM集群的区域、虚拟私有云、子网、安全组、企业项目建议选择与数据源和DLI一致。 集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 更多CDM集群参数配置说明请参考创建集群。 确认无误后单击“立即购买”进入规格确认界面。 单击
配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和RDS MySQL实例保持一致。 步骤一:数据准备 RDS的MySQL的数据库实例上创建数据库和表。
NOT NULL 文件的字节数。 file.modification-time TIMESTAMP_LTZ(3) NOT NULL 文件的修改时间。 示例 从obs表作为数据源读取数据,输出到print connector。 CREATE TABLE obs_source(
弹性资源池最大最小CU范围。 64-64 网段 规划弹性资源池所属的网段。如需使用DLI增强型跨源,弹性资源池网段与数据源网段不能重合。弹性资源池网段设置后不支持更改。 172.16.0.0/19 企业项目 选择对应的企业项目。 default 参数填写完成后,单击“立即购买”,在界面上确认当前配置是否正确。
并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi kyuubi-defaults.conf 配置项说明请参考表1。 表1
若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机IP信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时会统计大小。 添加数据时不会修改大小。 如需查看表大小可以通过OBS查看。 CTAS建表语句不能指定表的属性。 关于分区表的使用说明: 创建分区表时,PARTITONED
策略的扩展和补充。详细操作请参考创建自定义策略。 相关链接 《IAM产品介绍》 《创建用户组、用户并授予DLI权限》 《策略语法》 《如何修改用户策略》 《队列赋权》(API赋权) 《数据赋权》(API赋权) 《设置队列权限》(Console赋权) 《数据库权限管理》(Console赋权)
] } ], "total_count": 1000 } 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: 资源标签相关API
假设声明了主键的列都是不包含 Null 值的,Connector 在处理数据时需要自己保证语义正确。 注意: 在 CREATE TABLE 语句中,创建主键会修改列的 nullable 属性,主键声明的列默认都是非 Nullable 的。 PARTITIONED BY 根据指定的列对已经创建的表进行分区。如果表使用
的场景。 说明: 当前包年/包月计费模式和按需计费专属资源模式支持双AZ策略。 双AZ能提高您的数据可用性。 双AZ属性一旦启用,后续无法修改。 CPU架构 X86 鲲鹏 规格 队列规格指的是计算节点所有CU数的总和,1CU=1核4GB。DLI系统会自动分配各计算节点的内存和CPU大小,具体计算节点个数客户端不感知。