检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果一个task中有算子链（Chained operators），将会将算子链上第一个算子的ID分配给该task。给算子链上的中间算子手动分配ID是不可能的。例如：在链（Chain）[a->b->c]中，只能给a手动分配ID，b和c不能分配。如果用户想给b和c分配ID，用户必须手动建
同步配置”，等待五分钟，查看服务状态是否良好，告警是否恢复。 是，处理完毕。 否，执行9。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择对应的主机。 单击右上角的设置日志收集的“开始时间”和
Hadoop客户端相关配置参数。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 当客户端所在主机不是集群中
<ZooKeeper的任意一个节点的业务IP:zkPort/kafka> 一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中，如果
配置HetuEngine客户端日志参数。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 当客户端所在主机不是集群中
中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 MySQL引擎使用示例： 连接到RDS服务的MySQL数据库。详细操作可以参考RDS服务MySQL实例连接。 在MySQL数据库上创建表，并插入数据。 创建表mysql_table：
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境： Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK
CarbonData作为Spark内部数据源运行，不需要额外启动集群节点中的其他进程，CarbonData Engine在Spark Executor进程之中运行。 图2 CarbonData结构 存储在CarbonData Table中的数据被分成一些CarbonData数据文件，每一次数据查询时，CarbonData
30000 同步线程在发送同步请求之前等待通道建立的最大超时时间，要求配置大于replica.fetch.wait.max.ms。 request.timeout.ms 设置客户端发送连接请求后，等待响应的超时时间。单位：毫秒。 30000 Broker节点上的Controlle
COM;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.COM;' spark/hadoop.COM字符串在本集群上使用klist -kt /opt/Bigdata/MRS_XXX/1_20_SparkResource/etc/spark.keytay
数据规划 在开始开发应用前，需要创建Hive表，命名为person，并插入数据。同时，创建HBase table2表，用于将分析后的数据写入。 将原日志文件放置到HDFS系统中。 在本地新建一个空白的log1.txt文件，并在文件内写入如下内容： 1,100 在HDFS中新建
partition，只要创建一个数据库连接即可，然后执行批量插入操作，此时性能是比较高的。 RDD共享变量 在应用开发中，一个函数被传递给Spark操作（例如map和reduce），在一个远程集群上运行，它实际上操作的是这个函数用到的所有变量的独立复制。这些变量会被复制到每一台机器。通常看来，
30000 同步线程在发送同步请求之前等待通道建立的最大超时时间，要求配置大于replica.fetch.wait.max.ms。 request.timeout.ms 设置客户端发送连接请求后，等待响应的超时时间。单位：毫秒。 30000 Broker节点上的Controlle
ager等。 Yarn： Flink运行在Yarn集群上时，JobManager运行在Application Master上。JobManager的一些配置参数依赖于Yarn，通过配置YARN相关的配置，使Flink更好的运行在Yarn上，配置项包括yarn container的内存，虚拟内核，端口等。
重启服务”重启服务。 在Hive服务重启期间，正在重启的实例无法对外提供服务，且对应实例上正在执行的SQL任务可能失败。 观察界面告警是否清除。 是，处理完毕。 否，执行7。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Hive”。
Kerberos Server配置信息。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 当客户端所在主机不是集群中
不能包含;|&><'$特殊字符，可为空。 注意： 用户输入带有敏感信息（如登录密码）的参数时，可通过在参数名前添加“@”的方式为该参数值加密，以防止敏感信息被明文形式持久化。 在MRS管理控制台查看作业信息时，敏感信息会显示为“*”。 例如：username=testuser @password=用户密码
当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 样例 以HBase导出到sqlserver2014数据库为例。 在sqlserver2014上创建一张空表test_1用于存储HBase数据。执行以下语句： create table test_1 (id int, name
测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。 说明： 用户还可以根据程序运行情况，对程序进行调优，使其性能满足业务场景诉求。调优完成后，请重新进行编译和运行。具体请参考中Spark2x性能调优。 在Linux环境中编包并运行Spark程序 父主题： Spark2x开发指南（安全模式）
ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”是否被锁定，在集群主管理节点上执行如果下命令查看krbkdc是否被锁定（krbadmin用户方法类似）： oldap端口查询方法： 登录FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
