检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。
当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。
事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。
true fs.obs.guardian.enabled 是否开启使用Guardian。 true 进入Guardian服务“概览”页面，选择“更多 > 重启服务”。 配置Hive对接OBS文件系统。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。
提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。
", "wordcount", "obs://obs-test/input/", "obs://obs-test/job/mapreduce/output" ], "properties":{ "fs.obs.endpoint
参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider：通过ECS云服务获取AK/SK信息。
为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，有如下应用场景： 数据存储和计算分离，数据存储在OBS中，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用
从SFTP服务器导入数据到HDFS/OBS。 从SFTP服务器导入数据到HBase。 从SFTP服务器导入数据到Phoenix表。 从SFTP服务器导入数据到Hive表。 从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 导致本地磁盘的部分热数据会移动到OBS上，影响系统的读写性能。 可能原因 ClickHouseServer节点冷热分离配置的本地磁盘容量过小。
参数“obs://wordcount01/output/”中的OBS文件系统名需要替换为实际环境创建的文件系统名，目录output为一个不存在的目录，具体以实际为准。 服务配置参数无需填写。 只有集群处于“运行中”状态时才能提交作业。
参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider：通过ECS云服务获取AK/SK信息。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果一直无法获取到新的临时委托凭据，会导致在当前使用的临时委托凭据过期后，系统无法访问OBS，对于配置冷热分离策略的表无法进行OBS冷数据读写等操作。
服务器导入数据到Phoenix表 从SFTP服务器导入数据到Hive表 从FTP服务器导入数据到HDFS/OBS 从FTP服务器导入数据到HBase 从FTP服务器导入数据到Phoenix表 从FTP服务器导入数据到Hive表 从同一集群内HDFS/OBS导入数据到HBase MRS
参数“obs://wordcount01/output/”中的OBS文件系统名需要替换为实际环境创建的文件系统名，目录output为一个不存在的目录，具体以实际为准。 服务配置参数无需填写。 只有集群处于“运行中”状态时才能提交作业。
alluxio fs mount /mnt/obs obs://obs-mrstest/data Mounted obs://obs-mrstest/data at /mnt/obs 通过Alluxio命名空间列出OBS文件系统中的文件。使用ls命令列出OBS挂载目录下的文件。
fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为obs。
AK/SK可登录OBS服务管理控制台，在页面右上角的用户名下拉框中选择“我的凭证 > 访问密钥”获取。 执行以下命令提交wordcount作业，如需从OBS读取或向OBS输出数据，需要增加AK/SK参数。
用户已经在账号的对象存储服务（OBS）中创建了并行文件系统。 在MRS Manager，单击“系统设置”。 单击“维护”下方的“日志导出”。 “服务”选择服务，“主机”填写服务所部署主机的IP，“开始时间”与“结束时间”选择对应的开始与结束时间。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
