检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 所有 HBase 表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了 ROW
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
"user_name":"Alice", "area_id":"330106"} 使用以下命令查看其结果如下: Redis执行以下命令: LRANGE 202103241000000001 0 8 查询命令执行结果: 1) "webShop" 2) "2021-03-24 10:00:00"
102) values (3010213, "student13"), (3010214, "student14"); 查看分区。 利用查看指定表所有分区中的内容,可以查看相关的分区内容。 示例代码如下: SHOW partitions student; 表2 表数据示例 facultyNo
管理增强型跨源连接 查看增强型跨源连接的基本信息 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题: 配置DLI读写外部数据源数据
和DLI表。 存储在DLI的表,表类型为MANAGED。 可在“数据管理 > 库表管理”查看DLI表数据存储量。 约束限制 存储资源无需创建,无配额约束限制,可直接使用。 仅支持在账单中查看数据存储的计费信息。详细操作参考费用账单。 按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
'upsert' ); Q:作业运行正常,但是DWS中一直没有数据怎么办? A:请分别排查以下场景: 查看jobmanager和taskmanager的日志是否有错误抛出。日志查看操作步骤如下: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关
'upsert' ); Q:作业运行正常,但是DWS中一直没有数据怎么办? A:请分别排查以下场景: 查看jobmanager和taskmanager的日志是否有错误抛出。日志查看操作步骤如下: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?
队列相关API(废弃) 修改队列网段(废弃) 创建队列定时扩缩容计划(废弃) 查看队列定时扩缩容计划(废弃) 批量删除队列定时扩缩容计划(废弃) 单个删除队列定时扩缩容计划(废弃) 修改队列定时扩缩容计划(废弃) 父主题: 历史API
--插入TINYINT类型数据 insert into int_type_t1 values (TINYINT'10'); --查看数据。 SELECT * FROM int_type_t1; it_col1 --------- 10 (1
'12333' or id='11111'").show() id、location、city:限定了长度,插入数据时须按长度给定数据值,否则查询时会发生编码格式错误。 操作结果; 提交Spark作业 将写好的python代码文件上传至OBS桶中。 如果MRS集群开启了Kerbero
TABLE:恢复备份数据。 PARTITION:指定分区列。 TO VERSION:指定版本号。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。
检查DLI队列对应网段是否开放,若没有,则在vpc中添加出方向网段。 在DLI服务找到跨源连接绑定队列对应的网段 图6 查找跨源连接绑定队列对应的网段 在虚拟私有云安全组中查看DLI队列对应的网段是否已配置。 图7 查看vpc中对应安全组中DLI队列对应网段 如果没有配置,则进行添加。 图8 在VPC中添加对应网段
(deny)权限的,即使有允许(allow)权限,如果有拒绝权限存在,也会导致授权失败。 排查方案 在OBS管理控制台找到DLI作业桶。 查看所选桶的桶策略。 DLI Flink作业所需要使用的桶授权信息如下,其中domainId和userId分别为DLI的账号和子账号,buck
例如:obs://桶名/包名。 modules 否 Array of Strings 依赖的系统资源模块名,具体模块名可通过查询组内资源包(废弃)接口查看。 DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下: CloudTable/MRS HBase:
a.b.c, x, y a.b.c 表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 系统响应 通过运行DESCRIBE命令,可查看删除列。 父主题: Schema演进语法说明