检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ADD COLUMNS 命令功能 ADD COLUMNS命令用于为现有表添加新列。 命令语法 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name data_type,...) TBLPROPERTIES(''COLUMNPROPERTIES
CHANGE DATA TYPE 命令功能 CHANGE命令用于将数据类型从INT更改为BIGINT或将Decimal精度从低精度改为高精度。 命令语法 ALTER TABLE [db_name.]table_name CHANGE col_name col_name changed_column_type;
SET/RESET 命令功能 此命令用于动态Add，Update，Display或Reset CarbonData参数，而无需重新启动driver。 命令格式 Add或Update参数值： SET parameter_name=parameter_value 此命令用于添加或更新“parameter_name”的值。
使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache
de。 多余块副本删除选择 如果块副本数超过参数“dfs.replication”值（即用户指定的文件副本数，可以参考修改集群服务配置参数进入HDFS服务全部配置页面，搜索对应参数查看），HDFS会删除多余块副本来保证集群资源利用率。 删除规则如下： 优先删除不满足任何表达式的副本。
Services 选择服务的标签信息。 - Select Resource Services 选择安全区内包含的服务及具体资源。 在“Select Resource Services”中选择服务后，需要在“Resource”列中添加具体的资源对象，例如HDFS服务器的文件目录、Yar
Spark使用说明 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。 相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 Spark是一个开源的，并行数据处理框架
登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”，“委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”，授权ECS或BMS调用OBS服务。 “持续时间”选择“永久”并单击“完成”。
postinstall.log 服务安装日志。 prestart.log prestart脚本日志。 start.log 启动日志。 FlinkServer服务日志、审计日志和HA相关日志。 FlinkServer服务日志、审计日志和HA相关日志默认100MB滚动存储一次，服务日志最多保留30天，审计日志最多保留90天。
在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn”，勾选“集群管理操作权限”。 说明： 设置Yarn管理员权限需要重启Yarn服务，才能使保存的角色配置生效。 设置用户在指定Yarn队列提交任务的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn >
yarn-service-check.log Yarn服务健康状态检查日志。 yarn-start-stop.log Yarn服务启停操作日志。 yarn-prestart.log Yarn服务启动前集群操作的记录日志。 yarn-postinstall.log Yarn服务安装后启动前的工作日志。 hadoop-commission
<process_name>-<SSH_USER>-<DATE>-<PID>-gc.log HBase服务垃圾回收日志。 checkServiceDetail.log HBase服务启动是否成功的检查日志。 hbase.log HBase服务健康检查脚本以及部分告警检查脚本执行所产生的日志。 sendAlarm
Flink任务开发规则 对有更新操作的数据流进行聚合计算时要注意数据准确性问题 在针对更新数据进行聚合需要选择合适的解决方案，否则聚合结果会是错误的。 例如： Create table t1( id int, partid int, value int );
Flink任务开发建议 高可用性下考虑提高Checkpoint保存数 Checkpoint保存数默认是1，也就是只保存最新的Checkpoint的状态文件，当进行状态恢复时，如果最新的Checkpoint文件不可用（比如HDFS文件所有副本都损坏或者其他原因），那么状态恢复就会失
Sqoop常用命令及参数介绍 更多Sqoop命令参数请参考Sqoop官方文档：https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群
Spark运维管理 快速配置Spark参数 Spark常用配置参数 Spark日志介绍 获取运行中Spark应用的Container日志 调整Spark日志级别 配置WebUI上查看Container日志 配置WebUI上显示的Lost Executor信息的个数 配置JobHistory本地磁盘缓存
批量写入Hudi表 操作场景 Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群，已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令：
增加分区 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。 在“KafkaManager
如果服务端关闭了SSL配置，则需在客户端需也关闭SSL配置才能通信，操作为： cd 客户端安装目录/IoTDB/iotdb/conf vi iotdb-client.env 将“iotdb_ssl_enable”参数的值修改为“false”，保存并退出。 其中，服务端SSL配置，可登录FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
