检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行日志的级别优先级从高到低分别是error、warning、trace、information、debug,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 error error表示系统运行的错误信息。 warning
ThriftServer:“/var/log/Bigdata/hbase/ts2”(运行日志,ts2为具体实例名称),“/var/log/Bigdata/audit/hbase/ts2”(审计日志,ts2为具体实例名称)。 日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小
sasl.mechanism:客户端使用的认证机制,默认值“PLAIN”。 manager_username:集群的用户。 manager_password:集群用户对应的密码(密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全)。 topic:生
进入目录“/opt/client”,首先确保“src/main/resources”目录下和依赖库文件目录下的所有文件,对当前用户均具有可读权限。同时保证已安装jdk并已设置Java相关环境变量,然后执行命令,运行样例工程,例如: java -cp /opt/client/lib/*:/o
终止作业 功能介绍 在MRS集群中终止指定作业。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id}/kill 表1 路径参数
directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply”、“OK”。 图8 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。
on Kudu 登录安装客户端的节点。 执行如下命令初始化环境变量。 source /opt/Bigdata/client/bigdata_env 若集群开启Kerberos认证,请执行如下步骤认证用户。若集群未开启Kerberos认证请跳过该步骤。 kinit 业务用户 执行如下命令登录impala客户端。
on Kudu 登录安装客户端的节点。 执行如下命令初始化环境变量。 source /opt/Bigdata/client/bigdata_env 若集群开启Kerberos认证,请执行如下步骤认证用户。若集群未开启Kerberos认证请跳过该步骤。 kinit 业务用户 执行如下命令登录impala客户端。
以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit
进入目录“/opt/client”,首先确保“src/main/resources”目录下和依赖库文件目录下的所有文件,对当前用户均具有可读权限。同时保证已安装jdk并已设置Java相关环境变量,然后执行命令,运行样例工程,例如: java -cp /opt/client/lib/*:/o
LEAST ONCE。 【示例】API方式设置Exactly once语义: env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE) 【示例】资源文件方式设置Exactly once语义: #
处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 父主题: Flink应用开发概述
fka上读取数据的。 Kafka服务的topic的leader异常后,若Kafka的leader和follower的offset相差太大,用户重启Kafka服务,Kafka的follower和leader相互切换,则Kafka服务重启后,topic的offset变小。 若Spark
回滚补丁 执行卸载脚本。 su - omm cd /home/omm/MRS_3.1.0_TROS_Tools_patch_20240430 vi ips.ini 在ips.ini中配置需要卸载的节点IP(只会卸载填写IP的节点)。 每行配置一个IP,中间不能有空行。 nohup
nt/命令查看。 若将checkpoint的快照信息保存到本地文件,则可直接登录到各个节点查看。 查看Stream SQL Join结果 结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task manager”标签下的out按钮查看。
样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致,否则将报错:"Python in worker has different version %s than that in driver %s."。 用户需保证Maven已配置华为镜像站中
次数。增加重试次数可以避免当资源不足时造成AM启动失败。 适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的最大尝试次数,但这个次数不能大于全局的最大次数。如果大于了,那ResourceManager将会覆
场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。 数据统计
配置LakeFormation数据连接 LakeFormation概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 父主题: 管理MRS集群元数据
MRS 3.2.0-LTS.1.10补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明