检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单
Manager支持监控、配置和管理MRS集群,用户可以在MRS控制台页面打开Manager管理页面。 本章节介绍如何打开MRS Manager方法。 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 单击“点击管理”,打开“访问MRS
id”文件仍然存在,则会触发append /system/balancer.id操作,进而导致Balance操作失败。 解决方法 方法1:等待硬租期超过1小时后,原有客户端释放租约,再执行第二次Balance操作。 方法2:删除HDFS中的“/system/balancer.id”文件,再执行下次Balance操作。
3.x及之后版本) 服务IP 192.168.xxx.xxx 设置对接服务器IP地址。 服务端口 514 设置对接端口。 协议 UDP 设置协议类型,包括: TCP UDP 安全级别 Informational 设置上报消息的严重程度,取值范围: Emergency Alert Critical
作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业
单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 Yarn权限: “集群管理操作权限”:Yarn管理员权限。 “调度队列”:队列资源管理。 表1 设置角色 任务场景 角色授权操作 设置Yarn管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析
ALM-50215 FE Thrift各个方法接收的RPC请求中最长的耗时超过阈值 告警解释 系统每30秒周期性检查FE Thrift各个方法接收的RPC请求中最长的耗时,当检查到该值超出阈值(默认值为5000ms)时产生该告警。 当FE Thrift各个方法接收的RPC请求中最长的耗时低于阈值时,告警清除。
本样例实现了Flink消费一个自定义数据源,并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。 主要提供了Elasticsearch Sink的构建及参数设置方法,实现通过Flink将数据写入Elasticsearch的功能。 Flink支持1.12.0及以后版本,Elasticsearch支持7
SOCKS代理服务器,如“localhost:1080”。 httpProxy HTTP代理服务器地址,如“localhost:8888”。 applicationNamePrefix 要附加到任何指定的ApplicationName客户端信息属性的前缀,该属性用于设置HetuE
d”的值设置为“false”。 设置方法:如果未启动beeline,则执行beeline --entireLineAsCommand=false命令;如果已启动beeline,则在beeline中执行!set entireLineAsCommand false命令。 设置完成后,
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性,如下样例代码设置socket超时时间为60s。 ClickHouseProperties clickHouseProperties = new
HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。 public void testDelete()
如需在Linux调测程序,需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件,均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ
用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。 使用特定的规则扫描Hbase表。 运行前置操作
用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。 使用特定的规则扫描Hbase表。 运行前置操作
HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。 public void testDelete()
HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中 public void testDelete()
HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中 public void testDelete()