检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
SparkHbasetoHbase。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: /** * 从table1表读取数据,根据key值去table2表获取相应记录,把两者数据后,更新到table2表 */ object SparkHbasetoHbase { case
`int_id` INT NOT NULL AUTO_INCREMENT, `float` FLOAT NOT NULL, PRIMARY KEY (`int_id`)); 插入表数据: insert into mysql_table (`int_id`, `float`) VALUES
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
Kudu支持的压缩算法有哪些? 问: Kudu支持的压缩算法有哪些? 答: Kudu目前支持的压缩算法有snappy、lz4和zlib,默认是lz4。 父主题: 组件配置类
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
usionInsight-HDFS”目录(“dfs.domain.socket.path”),该目录默认权限是750。而当前Linux用户没有权限操作该目录。 上述问题可通过执行以下方法解决: 方法一:创建新用户(推荐使用)。 通过Manager页面创建新的用户,该用户属组中默认包含ficommon组。
以包含数字、字母和下划线。“描述”为可选参数。 在“角色”,单击“选择添加角色”选择指定的角色并添加。 如果不添加角色,则当前创建的用户组没有使用MRS集群的权限。 单击“确定”完成用户组创建。 管理用户组 登录Manager。 进入用户组管理页面: MRS 3.x及之后版本:选择“系统
如果查询出来的结果中有执行中且不存在报错的信息,说明sql/mutation任务正在执行。 执行完成之后等待5min,如果告警消除,操作结束。如果告警没有消除,执行4。 根据业务情况修改表的结构、删除或新增表,直到集群内该表在所有节点上元数据一致。等待5min,查看告警是否消除。 是,操作结束。
数,如: -XX:MaxDirectMemorySize=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群
written_rows limit 10; 业务上建议一次写入一个分区,写入频率不要太快,不要小批量数据的插入,适当增大每次插入的时间间隔。 如果没有触发Merge,或者Merge较慢,需要调整参数加快Merge。 加速Merge,需要调整如下参数,请参考加速Merge操作: 配置项 参考值
written_rows limit 10; 业务上建议一次写入一个分区,写入频率不要太快,不要小批量数据的插入,适当增大每次插入的时间间隔。 如果没有触发Merge,或者Merge较慢,需要调整参数加快Merge。 加速Merge,需要调整如下参数,请参考加速Merge操作: 配置项 参考值
SparkContext(conf) //具体的任务 ... 如果不添加SparkContext.stop,YARN界面会显示失败。如图1,同样的任务,前一个程序是没有添加SparkContext.stop,后一个程序添加了SparkContext.stop()。 图1 添加SparkContext.stop()和不添加的区别
successfully. 配置更新过程中,OMS会自动重启。 相近数量的节点规模对应的Manager相关配置是通用的,例如100节点变为101节点,并没有新的配置项需要刷新。 父主题: MRS集群告警处理参考
重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 服务或实例重启过程中,Loader不再对外提供服务,无法提交作业,对正在运行的作业没有影响。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Loader”。
proxy.idle.session.timeout 多租户模式下,JDBCServer代理session的空闲超时时间。如果在这段时间内没有做任何操作,session会被关闭。 7d spark.thriftserver.proxy.idle.session.check.operation
数,如: -XX:MaxDirectMemorySize=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群
usionInsight-HDFS”目录(“dfs.domain.socket.path”),该目录默认权限是750。而当前Linux用户没有权限操作该目录。 上述问题可通过执行以下方法解决: 方法一:创建新用户(推荐使用)。 通过Manager页面创建新的用户,该用户属组中默认包含ficommon组。
访问HDFS WebUI时,界面提示无法显示此页 问题 通过IE 9、IE 10和IE 11等浏览器访问HDFS的原生UI界面,偶尔出现访问失败情况。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。