检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命令格式 按文件容量进行清理,需要配置参数: hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE; hoodie.archive.file.cleaner.size.retained = 5368709120
若URI中的过滤条件“with-detail=false”,则只返回“data_location”,“table_name”,“table_type”三个参数。
URI URI格式: GET/v1.0/{project_id}/jobs/{job_id}/detail 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。
具体操作如下: MSCK REPAIR TABLE table_name; 执行完上述命令后,再执行对应OBS分区表的数据查询即可。 父主题: DLI数据库和表类
示例 VACUUM delta_table0 RETAIN 168 HOURS; VACUUM delta_table0 RETAIN 48 HOURS DRY RUN; VACUUM delta.
Spark SQL作业: 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。
参考信息 关于出入规则,可以参考《新建跨源连接,显示已激活,但使用时报communication link failure错误》。 父主题: 增强型跨源连接类
query database.db1的EXPLAIN权限 query需要其相应的权限。
问题描述 创建跨源并绑定新创建的DLI队列,测试跨源的网络连通性时失败,有如下报错信息: failed to connect to specified address 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因
如果在“规格变更”页面提示“Status of queue xxx is assigning, which is not available”,表示需要等待队列资源分配完毕才可进行扩缩容。 扩容 当前队列规格不满足业务需要时,可以通过手动变更队列规格来扩容当前队列。
op_type 命令运行模式,可选,默认值为dry_run,取值:dry_run、repair、undo、query。 dry_run:显示需要清理的无效数据文件。 repair:显示并清理无效的数据文件。
column=detail:pay_amount, timestamp=2021-12-16T21:30:37.954, value=@Y\x00\x00\x00\x00\x00\x00 202103241000000001 column=detail:pay_time
detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id from hbaseSource; 按照如下方式查看
detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id from hbaseSource; 按照如下方式查看
具体参数范围如下: AVAILABLE:可使用 SCALING:规格变更中 CREATING:创建中 FAILED:已失败 resource_id 否 String 弹性资源池的资源ID。 fail_reason 否 String 弹性资源池创建失败原因。
如何执行Clean 写完数据后clean Spark SQL(设置如下参数,随后执行任意写入SQL时,在满足条件时触发) hoodie.clean.automatic=true hoodie.cleaner.commits.retained=10 // 默认值为10,根据业务场景指定
配置文件使用方法 方案一:直接在main函数里面加载文件内容到内存,然后广播到各个taskmanager,这种方式适合那种需要提前加载的少量变量。
DLI Flink作业所需要使用的桶授权信息如下,其中domainId和userId分别为DLI的账号和子账号,bucketName为用户桶名,timeStamp为策略创建时的时间戳。
报错信息如下: DLI.0999: PSQLException: ERROR: dn_6009_6010: null value in column "ctr" violates not-null constraint Detail: Failing row contains (400070309