检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备应用开发配置文件 集群创建成功后，登录FusionInsight Manager创建用于创建Hive数据表及提交HCatalog程序的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个机机用户，例如hiveuser。 “用户组”需加入“hive”、“supergroup”用户组。
当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置 图21 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。 图22 Create... 在“Select JAR's for
key”后加密工具执行时会重新生成新的随机密钥并保存在“.loader-tools.key”中。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 shLoader客户端安装目录/Loader/loader-tools-1.99.3/encrypt_toolpassword
Spark CBO调优 操作场景 SQL语句转化为具体执行计划是由SQL查询编译器决定的，同一个SQL语句可以转化成多种物理执行计划，如何指导编译器选择效率最高的执行计划，这就是优化器的主要作用。传统数据库（例如Oracle）的优化器有两种：基于规则的优化器(Rule-Based
当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置 图21 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。 图22 Create... 在“Select JAR's for
参数解释： 数据输出地址。 约束限制： 不涉及 取值范围： 必须以“/”或“s3a://”开头。请配置为正确的OBS路径，如果该路径不存在，系统会自动创建。 最多为1023字符，不能包含;|&>'<$特殊字符，可为空。 默认取值： 不涉及 job_log 否 String 参数解释：
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。
在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息，请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MRS集群
HBase操作请求次数指标中的多级图表统计如何理解？ 问： HBase操作请求次数指标中的多级图表统计如何理解？ 答： 以“RegionServer级别操作请求次数”监控项为例： 登录FusionInsight Manager，选择“集群 > 服务 > HBase > 资源”，在
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。
数学函数和运算符 数学运算符 运算符 描述 + 加 - 减 * 乘 / 除 % 取余 数学函数 abs(x) → [same as input] 返回x的绝对值 SELECT abs(-17.4);-- 17.4 bin(bigint x) -> string 返回x的二进制格式
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
22950 JDBC的Web UI端口 该端口用于：Web请求与JDBC Server Web UI服务器进行HTTPS/HTTP通信。 说明： 系统会根据端口的设置取值，并验证其有效性；如果无效，端口+1，直到取到有效值为止（上限16次，重试次数可以通过配置spark.port.maxRetries改变）。
ClickHouse集群规划 ClickHouse集群业务规划 ClickHouse数据分布设计 ClickHouse容量规划设计 ClickHouse依赖服务设计 父主题： ClickHouse应用开发规范
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
import sys import os from pyflink.table import (EnvironmentSettings, TableEnvironment) def read_sql(file_path): if not os.path.isfile(file_path):
k，若集群未开启Kerberos认证请跳过步骤。 准备一个提交Flink作业的用户。 具体请参考准备MRS应用开发用户。 使用新创建的用户登录Manager页面，选择“系统 > 权限 > 用户”，在已增加用户所在行的“操作”列，选择“更多 > 下载认证凭据”。 将下载的认证凭据压缩包解压缩，并将得到的“user
通过上述命令配置，kafkahost为流式集群的Core节点的IP地址。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 显示类似如下信息，表示Maxwell启动成功。 Success to start Maxwell
开启ClickHouse租户CPU优先级配置 本章节内容仅适用于MRS 3.2.0及之后版本。 操作场景 ClickHouse租户支持CPU优先级，该特性依赖OS的CAP_SYS_NICE能力，需要开启该能力才可以生效。 操作步骤 使用root用户登录ClickHouseServer实例节点，执行如下命令：
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略（Colocation）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
