检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Teradata函数 以下函数提供Teradata SQL的能力。 字符串函数 char2hexint(string) 描述:返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述:同strpos() 函数。 日期函数 本节中的函数使用与
Parquet Format 功能描述 Apache Parquet格式允许读写 Parquet 数据。更多具体使用可参考开源社区文档:Parquet Format。 支持的Connector FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 描述 format
RENAME COLUMN 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上,需要先执行如下语句才能修改成功: ALTER TABLE table_name SET TBLPROPERTIES ('
DROP COLUMN 命令功能 ALTER TABLE ... DROP COLUMN语法用于删除列。 命令语法 ALTER TABLE tableName DROP COLUMN|COLUMNS cols 参数描述 表1 DROP COLUMN参数描述 参数 描述 tableName
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径,即:SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的路径作为参数传给
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案: 作业分组: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还提供了作业管理功能
DLI Flink 1.10、Flink 1.11版本停止服务(EOS)公告 公告说明 华为云计划于2023年12月31 00:00(北京时间)将DLI Flink 1.10、Flink1.11版本停止服务(EOS)。 影响 DLI Flink 1.10、Flink1.11版本停止服务
开启Flink作业动态扩缩容 操作场景 在实际作业运行中,由于作业的数据流量变化,导致所需计算资源不同,造成流量较小时计算资源浪费,流量较大时计算资源不足以满足计算所需。 DLI提供的动态扩缩容功能可以根据当前作业的负载情况,例如:数据输入输出量、数据输入输出速率、反压等情况,动态的调整当前作业所用的计算资源
队列赋权(废弃) 功能介绍 该API用于与其他用户共享指定的队列,可以给用户赋使用指定的队列的权限或者收回使用权限。 用户所属的用户组需要在所属区域内具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南
获取全部集群信息(废弃) 功能介绍 该API用于列出该project下所有的集群。 当前接口已废弃,不推荐使用。 URI URI格式: GET/v2.0/{project_id}/clusters 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是 项目编号
创建IEF消息通道(废弃) 功能介绍 该API用于创建IEF消息通道。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/message-channel 参数说明
IEF系统事件上报(废弃) 功能介绍 该API用于处理IEF系统事件上报。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/system-events 参数说明
获取DLI委托信息(废弃) 功能介绍 该API用于获取DLI用户委托信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2/{project_id}/agency 参数说明 表1 URI参数 参数名称 是否必选
修改弹性资源池信息 功能介绍 修改弹性资源池信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name} 参数说明
split_part split_part函数用于依照分隔符separator拆分字符串str,返回从start部分到end部分的子串(闭区间)。 命令格式 split_part(string <str>, string <separator>, bigint <start>[,
如何合并小文件 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL: INSERT OVERWRITE TABLE tablename select
Hudi CALL COMMAND语法说明 CLEAN_FILE SHOW_TIME_LINE SHOW_HOODIE_PROPERTIES ROLL_BACK CLUSTERING CLEANING COMPACTION SHOW_COMMIT_FILES SHOW_FS_PATH_DETAIL
CREATE TABLE LIKE 语法 CREATE TABLE [ IF NOT EXISTS] table_name ( { coulumn_name data_type [ COMMENT comment] [ WITH (property_name = expression
SHOW CREATE TABLE 语法 SHOW CREATE TABLE table_name 描述 显示指定数据表的SQL创建语句。 示例 显示能够创建orders表的SQL 语句: CREATE TABLE orders ( orderkey bigint, orderstatus
SHOW CREATE VIEW 语法 SHOW CREATE VIEW view_name 描述 显示指定数据视图的SQL创建语句。 示例 显示能够创建order_view视图的SQL语句: SHOW CREATE VIEW test_view; Create