检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hosts”和“hadoop.proxyuser.myname.groups”中的“myname”为传入的krb认证用户名称。 需要保证写入HDFS数据路径权限为777。 配置完成后,单击“保存配置”进行保存。 示例 示例一: 该示例将car_info数据,以buyday字段为分区字段,parquet为编码格式,转储数据到OBS。
查看所有数据库 功能描述 查看当前工程下所有的数据库。 语法格式 1 SHOW [DATABASES | SCHEMAS] [LIKE regex_expression]; 关键字 无。 参数说明 表1 参数说明 参数 描述 regex_expression 数据库名称。 注意事项
java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org
状态文件,并且等待提交 Finished:流模式(STREAMING)下的成功的 Checkpoint 或者批模式(BATCH)下输入结束,文件的Pending状态转换为 Finished 状态 只有 Finished 状态下的文件才能被下游安全读取,并且保证不会被修改。 默认的,Part文件命名策略如下:
状态文件,并且等待提交 Finished:流模式(STREAMING)下的成功的 Checkpoint 或者批模式(BATCH)下输入结束,文件的Pending状态转换为 Finished 状态 只有 Finished 状态下的文件才能被下游安全读取,并且保证不会被修改。 默认的,Part文件命名策略如下:
异常重试最大次数为无限时显示为“无限”,其余为设置的具体值。 从Checkpoint恢复 开启或关闭。 ID 作业ID。 保存点路径 保存点的OBS存储路径。 开启Checkpoint 开启或关闭。 Checkpoint间隔 将作业运行的中间结果保存到OBS的间隔时间,单位为秒。 Checkpoint模式
查看所有数据库 功能描述 查看当前工程下所有的数据库。 语法格式 1 SHOW [DATABASES | SCHEMAS] [LIKE regex_expression]; 关键字 无。 参数说明 表1 参数说明 参数 描述 regex_expression 数据库名称。 注意事项
pyfile:用户Python文件 file:用户文件 modelfile:用户AI模型文件 obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如:"https://bucketname
URI POST /v3/{project_id}/{resource_type}/{resource_id}/tags/create 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type
调试功能。 URI GET /v3/{project_id}/{resource_type}/{resource_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type
16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs路径中的orc文件,其数据结果如下 202103251202020001, miniAppShop, 2021-03-25 12:02:02,
URI POST /v3/{project_id}/{resource_type}/{resource_id}/tags/delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type
URI POST /v3/{project_id}/{resource_type}/resource-instances/count 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type
状态文件,并且等待提交 Finished:流模式(STREAMING)下的成功的 Checkpoint 或者批模式(BATCH)下输入结束,文件的Pending状态转换为 Finished 状态 只有 Finished 状态下的文件才能被下游安全读取,并且保证不会被修改。 默认的,Part文件命名策略如下:
jar:用户jar文件 pyfile:用户Python文件 file:用户文件 modelfile:用户AI模型文件 paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 description:资源包描述信息。
ALTER_TABLE_RECOVER_PARTITION 恢复表分区 √ × √ √ ALTER_TABLE_SET_LOCATION 设置分区路径 √ × √ √ GRANT_PRIVILEGE 表的赋权 √ × √ √ REVOKE_PRIVILEGE 表权限的回收 √ × √ √
/v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/scale-records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 ela
等信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。 注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。
DLI.0002: FileNotFoundException: getFileStatus on error message 该场景下就需要使用REFRESH TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到
'schema-name' = 'test',--RDS Postgres数据库下的schema 'table-name' = 'cdc_order'--RDS Postgres数据库下的表名 ); create table dwsSink( order_id string