检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
export HADOOP_ROOT_LOGGER=ERROR,console，调整为ERROR。 永久调整 在HDFS客户端环境变量配置文件“/opt/client/HDFS/component_env”（其中“/opt/client”需要改为实际客户端路径）增加“export
置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。
STATISTICS 生成sizeInBytes和rowCount。 使用ANALYZE语句收集统计信息时，无法计算非HDFS数据源的表的文件大小。 生成表级别统计信息（不扫表）： ANALYZE TABLE src COMPUTE STATISTICS NOSCAN 只生成si
Major合并，详见合并Segments。 SEGMENT_INDEX 这会将一个segment内的所有Carbon索引文件（.carbonindex）合并为一个Carbon索引合并文件（.carbonindexmerge）。 这增强了首次查询性能。详见表1。 CUSTOM Custom合并，详见合并Segments。
service，具体请参考使用External Shuffle Service提升性能。 在“spark-defaults.conf”配置文件中必须添加配置项“spark.dynamicAllocation.enabled”，并将该参数的值设置为“true”，表示开启动态资源调度功能。默认情况下关闭此功能。
实时流处理引擎：从Kafka实时读取时序数据，并进行一些逻辑运算，将实时时序数据写入时序数据库中。 数据湖：其他IT系统上的数据，时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联，与IT数据进行进一步的复杂分析。 HetuEngine：跨源分析引擎，可以连接多个大数据组件进行数据查询，并可以将多个大数据组
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件（job.properties）路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件， 在Spark应用程序运行节点，执行如下命令使用Spark Launcher方式提交。之后，可通过Spark WebUI查看运行情况，或通过获取指定文件查看运行结果，可参见在Linux环境中查看Spark程序调测结果。
户及该用户的user.keytab、krb5.conf为示例，实际操作时请联系管理员获取相应权限的账号以及对应该账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager，单击“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。
json --execute 在expand-cluster-reassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为：{"partitions":[{"topic": "topicName","partition":
修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS
resources > application.properties”中配置，也可以在样例运行环境上手动编写application.properties文件。没有指定默认值的配置为必选项。 bootstrap.servers：Kafka集群Broker地址列表，格式为ip:port,ip:port
nt.tar 执行以下命令校验安装文件包。 sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256 MRS_Services_ClientConfig.tar:OK 执行以下命令解压安装文件包。 tar -xvf MRS_Services_ClientConfig
nt.tar 执行以下命令校验安装文件包。 sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256 MRS_Services_ClientConfig.tar:OK 执行以下命令解压安装文件包。 tar -xvf /opt/M
xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-multizk\src\main\resources”目录下。 检查并修改resources目录下hiveclient.properties文件中“zk.port”和“zk.quorum”参数的值：
xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-multizk\src\main\resources”目录下。 检查并修改resources目录下hiveclient.properties文件中“zk.port”和“zk.quorum”参数的值：
值pid_max。 若PID使用率超过阈值，则编辑“/etc/sysctl.conf”文件，将“kernel.pid_max”参数值增大为3查询到的pid_max值的一倍，若无该参数则请在文件末尾添加。 例如修改参数为“kernel.pid_max=65536”，然后执行以下命令使参数立即生效。
//setSecurityPlugin(conf); if (args.length >= 2) { // 用户更改了默认的keytab文件名，这里需要将新的keytab文件名通过参数传入 conf.put(Config.TOPOLOGY_KEYTAB_FILE, args[1]); } //
因此，当数据量达到10T级别以上的Spark任务，建议用户关闭ShuffleService功能，即在“Spark-defaults.conf”配置文件中将配置项“spark.shuffle.service.enabled”配置为“false”。 父主题： Spark Core
ClientCnxnSocketNetty -Dzookeeper.client.secure=true 在“JDBCExampleZK.java”文件下单击右键，在弹出菜单单击“Run 'JDBCExampleZK.main()' ”。 图2 运行程序 在IDEA的console中可以看到输出结果。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
