检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
3,41,6][1] AS first_element; -- 5 Concatenation Operator: || The || operator is used to concatenate an array with an array or an element of the
<table>同步表schema信息,需要查询该表时才会同步全量元数据;而新增分区,插入数据等场景可主动执行refresh即可增量更新元数据。 定时使用compute increment stats <table_name>刷新常用表的统计信息,加速查询 Impala依赖表统计信息对查
BulkLoad工具同步数据到HBase表中 Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase表中,支持全量或增量导入ORC/PAQUET等格式的表数据。 使用Spark BulkLoad同步数据类型数据到HBase表中时,存在以下限制: 数据类型转换的对应关系请参见表1。日期
涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转换有且只能有一种输出算子,用于输出处理后的字段。涉及H
查看作业历史信息 操作场景 该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作: 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志:查看作业在MapReduce执行的日志信息。
行一条命令。 sqoop-shell通过表1的命令来实现Loader各种功能。 表1 命令一览表 命令 说明 exit 表示退出交互模式。 该命令仅支持交互模式。 history 查看执行过的命令。 该命令仅支持交互模式。 help 查看工具帮助信息。 set 设置服务端属性。 show
查看Loader作业历史信息 操作场景 该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作: 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志:查
实例”,在Presto实例列表中,查看所有Coordinator或Worker实例状态是否都呈现未知状态。 是,执行2。 否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325 Presto服务不可用”告警是否清除。
Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时,不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例: select * from default.tbl_src where id = 10001; select
to create new native thread”报错。 原因分析 使用以下命令统计节点进程的线程数并排序。 ps -efT | awk '{print $2}' |sort -n |uniq -c |sort -n 执行后结果如下: 查看启动线程数最多的进程,案例中进程
实例”,在Presto实例列表中,查看所有Coordinator或Worker“运行状态”是否都呈现“未知”状态。 是,执行2。 否,执行4。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325 Presto服务不可用”告警是否清除。
实例”,在Presto实例列表中,查看所有Coordinator或Worker实例状态是否都呈现未知状态。 是,执行2。 否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-44000 Presto服务不可用”告警是否清除。
Presto”,找到“线程数 (Coordinator)”或“线程数 (Worker)”,单击default后的“修改”,将阈值调大(如:增大原数值的20%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。 若Coordinator线程数过多,
Presto”,找到“线程数 (Coordinator)”或“线程数 (Worker)”,单击default后的“修改”,将阈值调大(如:增大原数值的20%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。 若Coordinator线程数过多,
Presto”,找到“线程数 (Coordinator)”或“线程数 (Worker)”,单击default后的“修改”,将阈值调大(如:增大原数值的20%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。 若Coordinator线程数过多,
涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转换有且只能有一种输出算子,用于输出处理后的字段。涉及H
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
starting:启动中 terminating:删除中 terminated:已删除 failed:失败 接口约束 无 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数 是否必选
默认的输入字段分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。 , - loader.input.line.separator 默认的输入行分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。