检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包，获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点，将1和2获取的“venv
当同时存在较多待导入的数据文件，用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端，例如客户端安装目录为“/opt/client”。 如果集群为安全模式需要创建一个具有ClickHouse相关权限的用户，例如创建用户“clickhouseu
Tez或者Spark在HDFS上库路径被删除。 处理步骤 检查Tez和Spark库路径。 以root用户登录客户端所在节点，用户密码为安装前用户自定义，请咨询系统管理员。 执行以下命令，检查“hdfs://hacluster/user/{用户名}/.Trash/Current/ ”目录下是否存在该tezlib或者sparklib目录。
如何采用Java命令提交Spark应用 SparkSQL UDF功能的权限控制机制 由于kafka配置的限制，导致Spark Streaming应用运行失败 如何使用IDEA远程调试 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 Spark on Yarn的clie
回调函数接口方法，通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 消费者通过此参数值，创建与Broker之间的连接。 security.protocol
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要获取的数据的rowKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要获取的数据的rowKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
denied” 用户问题 启动HDFS和Yarn时报错。 问题现象 无法启动HDFS、Yarn服务组件，报错内容：/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。 处理步骤 以root用户登录集群的任意一个Master节点。
开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户（未开启Kerberos认证的集群）登录CDLService WebUI界面，请参考登录CDLService WebUI界面。 选择“ENV管理
StarRocks基本概念 在StarRocks中，数据都以表（Table）的形式进行逻辑上的描述。 StarRocks中的表由行和列构成，每行数据对应用户一条记录，每列数据具有相同的数据类型。所有数据行的列数相同，可以动态增删列。在StarRocks中，一张表的列可以分为维度列（也称为Ke
变量的命令（例如source bigdata_env），或修改了环境变量。3.2.0之后版本已修复该问题。 处理步骤 以omm用户通过主管理节点IP登录主管理节点。 执行以下命令查看执行结果是否为“/usr/bin/openssl”。如果不是请修改openssl为系统默认的/usr/bin/openssl。
申请的HDFS资源需要在try/finally中释放，而不能只在try语句之外释放，否则会导致异常情况下的资源泄漏。 HDFS文件操作API概述 Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中，这些API能够支持的操作包含：打开文件，读写
task.JobStatusRefreshTask] - [start update job task] 审计日志 <远程主机名称> <远程用户名> <被认证的远程用户> <yyyy-MM-dd HH:mm:ss,SSS> <"日志请求的第一行" 响应码 发送的字节数> 192.168
命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。当前用户为准备HBase应用开发用户时增加的开发用户。 人机用户：kinit MRS集群用户 例如：kinit hbaseuser 机机用户：kinit -kt 认证凭据路径 MRS集群用户 例如：kinit
程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-examp
择“更多 > 重启实例”，输入用户密码后，在弹出窗口单击“确定”。 等待实例重启完成，配置生效。 日志格式 Tez的日志格式如下所示： 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字
ZNode的名称，建议与Hudi表名相同 无 hoodie.write.lock.zookeeper.connection_timeout_ms zk连接超时时间 15000 hoodie.write.lock.zookeeper.port zk端口号 无 hoodie.write.lock
etached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录，配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
原因分析 以root用户登录主、备Master节点，执行ntpq -p命令查看两节点时间未同步。 解决办法 以root用户登录主OMS节点执行ifconfig命令，查找当前节点的浮动IP。 例如执行后结果如下，则当前节点的浮动IP为192.168.0.3。 登录NTP时间异常的Ma
以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 执行以下命令获取指定任务的日志信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
