检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/”进行Base64编码。在编码后所得字符串首位任意加上一个字母,即得到Hql参数的值。后台自动进行解码得到Spark SQL语句。 使用样例: 在Web界面输入Spark SQL语句“show
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行HDFS Shell命令。例如: hdfs dfs -ls / HDFS客户端常用命令
新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
进入JayDeBeApi项目目录执行python3 setup.py install。如果安装过程中提示python3缺少模块或者包,则需要自行进行补充。 以JayDeBeApi-1.2.3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。
告警”,在告警列表中查看对应的磁盘是否存在“ALM-12017 磁盘容量不足”告警。 是,执行4。 否,执行5。 参考ALM-12017 磁盘容量不足操作步骤进行处理,故障恢复后,查看本告警是否恢复。 是,处理完毕。 否,执行7。 选择“主机 > 待查看的主机名称”,在主机的概览页面查看对应分区的磁
JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-XX:MaxDirectMemorySize”的值根据如下建议进行调整,并单击“保存”。 HiveServer的GC参数配置建议 建议将“-XX:MaxDirectMemorySize”值设置为“-Xmx
选择“HiveServer/MetaStore > JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-Xmx”的值根据如下建议进行调整,并单击“保存”。 HiveServer的GC参数配置建议 当Hive GC时间超出阈值时,将“-Xmx”值调整为默认值的2倍,比如:
JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-XX:MaxMetaspaceSize”的值根据如下建议进行调整,并单击“保存”。 HiveServer的GC参数配置建议 建议将“-XX:MaxMetaspaceSize”值设置成为“-Xmx”大
source bigdata_env 如果集群为安全模式,执行distcp命令的用户所属的用户组必须为supergroup组,且执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 直接执行distcp命令。例如: hadoop distcp hdfs://hacluster/source
registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。App
} return false; } }); //对符合的female信息进行打印显示 for(Tuple2<String, Integer> d: rightFemales.collect()) {
lient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 DWS服务数据导入到ClickHouse 参考下载Data Studio图形界面客户端中的“Data Studio图形界面客户端”下载Data
名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性: 表2 属性描述 属性 描述 carbon.options.bad.records.logger.enable 启用或禁用bad
registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。App
registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。App
2021-03-22_12-00-07.gz vi ha.log.2021-03-22_12-00-07 查看日志中,告警时间点前后是否有报错信息。 是,根据相关报错信息进行处理。然后执行13。 例如,查询出报错信息如下,表示目录权限不足,则请修改对应目录权限与正常节点保持一致。 否,执行14。 等待大约10分钟,查看告警列表中,该告警是否已清除。
line中执行!set entireLineAsCommand false命令。 设置完成后,如果语句中含有不是表示语句结束的“;”,需要进行转义,例如select concat_ws('\;', collect_set(col1)) from tbl。 Hive客户端常用命令 常用的Hive
插入写入并行度。为单个分区的总共插入次数。写出100MB的文件,至少1KB大小的记录,意味着每个文件有100K记录。默认值是超额配置为500K。 为了改善插入延迟,请对其进行调整以匹配单个文件中的记录数。将此值设置为较小的值将导致文件变小(尤其是当compactionSmallFileSize为0时)。 500000
新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
100000 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在MySQL数据库中对作业中指定的表进行插入数据操作,查看Hudi导入的文件内容是否正常。