检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看到聚合的container日志。 正在运行的任务的日志，用户可以通过“Executors”页面的日志链接进行查看，任务结束后日志会汇聚到HDFS上，“Executors”页面的日志链接就会失效，此时用户可以通过“AggregatedLogs”页面的logs链接查看聚合日志。 表1
-touchz hdfs://192.168.6.159:9820/tmp/mrstest.txt 访问集群A，在目录“/tmp”中可查询到“mrstest.txt”文件，则表示配置跨集群互信成功。 父主题： 集群互信管理
hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop 使用以下命令上传客户端节点“/opt/test.txt”文件到“obs://OBS并行文件系统名称/hadoop”路径下。 hdfs dfs -put /opt/test.txt obs://OBS并行文件系统名称/hadoop
图5 Select Home Directory for JDK 完成JDK选择后，单击“OK”完成配置。 图6 完成JDK配置 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，依次选择“File > Open”。 在弹出的Open File or
Select Home Directory for JDK 完成JDK选择后，单击“OK”完成配置。 图5 完成JDK配置 将样例工程导入到IntelliJ IDEA开发环境。 选择“Open”。 显示“浏览文件夹”对话框。 选择样例工程文件夹，单击“OK”。 导入结束，IDEA主页显示导入的样例工程。
main/resources”，将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。 执行以下命令运行Jar包： cd /d d:\jdbc_example java -jar hive-jdbc-example-1
CLICKHOUSE_CONF_DIR=${CLICKHOUSE_CONF_DIR} 执行以下命令，运行元数据同步工具，从已有节点上同步元数据到故障节点： sh ${BIGDATA_HOME}/FusionInsight_ClickHouse_*/install/FusionInsi
使用PuTTY工具，以root用户登录告警所在主机。 执行命令ethtool 网口名称，查看当前网口速率最大值Speed。 对于虚拟机环境，通过命令可能无法查询到网口速率，建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值，直接联系系统管理员，提升网口速率。 检查该告警是否恢复。 是，处理完毕。
使用PuTTY工具，以root用户登录告警所在主机。 执行命令ethtool 网口名称，查看当前网口速率最大值Speed。 对于虚拟机环境，通过命令可能无法查询到网口速率，建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值，直接联系系统管理员，提升网口速率。 检查该告警是否恢复。 是，处理完毕。
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从Kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
用户管理”，在用户名中选择flinkuser，单击操作中下载认证凭据文件，保存后解压得到用户的keytab文件与krb5.conf文件，并将krb5.conf文件拷贝到客户端机器的/etc目录下。用于在样例工程中进行安全认证，具体使用请参考准备Flink应用安全认证。 父主题： 准备Flink应用开发环境
>下载认证凭据”。 将下载获取到的zip文件解压缩，获取krb5.conf和该用户的keytab文件。 将krb5.conf和该用户的keytab文件拷贝到样例工程的conf目录中。 父主题： 准备Kafka应用开发环境
一份。 会话级别通过set insert_distributed_sync='true';，表示insert分布式表时，以同步方式插入数据到各个实际表中。 父主题： ClickHouse企业级能力增强
登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp patch.tar.gz {客户端机器IP}:/opt/ 例如： scp patch.tar.gz 127
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
素分区到下游操作的子集中。如果你想要将数据从一个源的每个并行实例中散发到一些mappers的子集中，用来分散负载，但是又不想要完全的rebalance 介入（引入`rebalance()`），这会非常有用。 dataStream.rescale(); 广播：广播每个元素到所有分区。
test(nonSecurityModeUrl);[2] [1]修改restHostName为待访问的RestServer实例所在节点的IP地址，并将节点IP配置到运行样例代码的本机hosts文件中。 [2]非安全模式采用http模式进行访问HBase REST服务，传入“nonSecurityModeUrl作为test
单击“服务管理 > Flink > 下载客户端”，在“客户端类型”勾选“完整客户端”，“下载路径”选择“服务器端”，单击“确定”下载客户端到服务器端。 执行如下命令解压缩客户端安装包“MRS_Flink_Client.tar”。 tar -xvf /tmp/MRS-client/MRS_Flink_Client
因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HDFS组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见准备Storm应用开发环境。 如果集群启用了安全服务，按登录方式需要进行以下配置： keytab方
为636，否则为389。 636 ldap_servers.ldap_server_name.auth_dn_prefix 用于构造要绑定到的DN的前缀和后缀。 生成的DN将被构造为auth_dn_prefix + escape(user_name) + auth_dn_suffix字符串。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
