检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
s文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南
为租户“t1”添加/删除子租户。 用户和角色是多对多的关系，一个用户可以绑定多个角色，一个角色可以被多个用户绑定。用户通过绑定角色和租户建立关系，因此用户和租户也是多对多的关系。一个用户可以使用多个租户的资源，多个用户也可以使用同一个租户的资源，例如图1中，用户A使用租户“t1”和租户“
bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight
程。 如果集群启用了安全服务，按登录方式分为以下两种。 keytab方式：需要从管理员处获取一个“人机”用户，用于认证，并且获取到该用户的keytab文件。 票据方式：从管理员处获取一个“人机”用户，用于后续的安全登录，开启Kerberos服务的renewable和forward
的性能。这2个值并不意味着越多越好，在资源有限的情况下，需要正确配置。例如，在银行方案中，每个节点有足够的32个CPU核，而只有64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。
s文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南
Long())); } // 用户自己申请的机机账号keytab文件名称 private static final String USER_KEYTAB_FILE = "请修改为真实keytab文件名"; // 用户自己申请的机机账号名称 private static final String
接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight
”，单击“确定”保存。 选择“系统设置 > 用户组管理 > 添加用户组”，为样例工程创建一个用户组，例如flinkgroup。选择“系统设置 > 用户管理 > 添加用户”，为样例工程创建一个用户。填写用户名例如flinkuser，用户类型为“人机”用户，加入用户组flinkgro
在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。 //初始化 confLoad(); // 创建一个用例 HdfsExample hdfs_examples = new HdfsExample("/user/hdfs-examples"
out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task，选择“Stdout”查看该任务的输出结果如图5和图6。 图3 提交的作业 图4 提交的任务 图5 Task1输出结果
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight
的性能。这2个值并不意味着越多越好，在资源有限的情况下，需要正确配置。例如，在银行方案中，每个节点有足够的32个CPU核，而只有64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。
存储”表格，单击“添加目录”。 父目录：选择一个父租户的存储目录。 如果当前租户不是子租户则不显示此参数。如果父租户有多个目录，请选择其中任何一个。 路径：填写租户目录的路径。 如果当前租户不是子租户，新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户，新路径将在指定的目录下创建。
s文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南
接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight
on执行Distcp进行复制。 数据快递服务（DES） 对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据复制到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据复制到HDFS。 父主题： 数据迁移方案介绍
计日志查看。如果审计日志根本没有相关信息，那么说明任务终止在客户端；如果审计日志有相关信息打印，那么就需要去运行日志里进一步定位原因。 查看指定时间段的任务请求个数，可通过审计日志查看在指定时间段有多少个请求。 HiveServer运行日志 HiveServer负责接收客户端请求
写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge
could not load db driver class。 图1 Sqoop迁移数据库数据报错 图2 源端为DWS时报错 问题分析 从上述两个报错分析，可能是驱动问题，服务端未正确加载JDBC驱动，或者是网络原因，由于Sqoop迁移数据过程，MapReduce任务是运行在分析co
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
