检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
StreamExecutionEnvironment.getExecutionEnvironment(); // 设置相关配置,并开启checkpoint功能 env.setStateBackend(new FsStateBackend("hdfs
export HIVE_OPTS=-Xmx1024M(具体数值请根据业务调整),并重新执行source 客户端目录/bigdata_env配置环境变量。 父主题: 使用Hive
其中,<inputPath>指HDFS文件系统中input的路径。 运行Python样例程序 由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。 bin/spark-submit --master yarn --deploy-mode
StreamExecutionEnvironment.getExecutionEnvironment(); // 设置相关配置,并开启checkpoint功能 env.setStateBackend(new FsStateBackend("hdfs
MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration
根据上述的业务场景进行功能开发,需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能 序号 步骤 代码实现 1 根据典型场景说明建立了数据模型 请参见配置OpenTSDB参数 2 写入指标数据 请参见写入OpenTSDB数据 3 根据指标项进行数据查询 请参见查询OpenTSDB数据 4 删除指定范围的数据
其中,<inputPath>指HDFS文件系统中input的路径。 运行Python样例程序 由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。 bin/spark-submit --master yarn --deploy-mode
定“LOCAL”时,这里的路径指的是当前连接的“HiveServer”的本地文件系统的路径,同时由于当前的“HiveServer”是集群式部署的,客户端在连接时是随机连接所有“HiveServer”中的一个,需要注意当前连接的“HiveServer”的本地文件系统中是否存在需要加
chmod +x python-examples -R 在“python-examples/pyCLI_nosec.py”中的hosts数组中填写安装HiveServer的节点的业务平面IP地址。HiveServer业务平面IP地址可登录FusionInsight Manager,选择“集群
参数 参数说明 操作类型 记录执行的操作类型,包括: 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明: 当MRS集群部署失败时,集群会被自动删除,并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 用户 执行操作的用户。 操作内容 记录实际操作内容,不超过2048字符。
否,执行11。 数据倾斜,需要均衡集群中的数据。以root用户登录MRS客户端,用户密码为安装前用户自定义,请咨询系统管理员。如果集群为普通模式,执行su - omm切换到omm用户。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证。执行kinit
egion Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示
计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题,提出MemArts分布式客户端缓存,MemArts部署在计算侧的VM中,通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1 MemArtsCC结构图说明 名称
访问。 可能原因 该主机ommdba用户过期。 处理步骤 检查系统中ommdba用户是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l ommdba命令查看当前ommdba用户密码设置信息。 查找“Account ex
ut_data1.txt,input_data2.txt到此目录,命令如下: 在HDFS客户端,执行如下命令获取安全认证。 cd {客户端安装目录} source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs
IP地址为IP1(若出现多个告警,则分别记录其中的IP地址为IP1,IP2,IP3等)。单击“服务管理 > LdapServer > 服务配置”,记录LdapServer的端口号为PORT(若告警定位信息中的IP地址为oms备节点IP地址,则端口号为默认端口21750)。 以om
chmod +x python-examples -R 在python-examples/pyCLI_nosec.py中的hosts数组中填写安装HiveServer的节点的业务平面IP。 Hive多实例的python客户端命令行形式:"python-examples/pyCLI_nosec
态,后续即使被加入黑名单的节点恢复,App1也无法得到资源。 由于上述原则不适用于资源池场景,所以目前可通过调整客户端参数(路径为“客户端安装路径/Yarn/config/yarn-site.xml”)“yarn.resourcemanager.am-scheduling.nod
态,后续即使被加入黑名单的节点恢复,App1也无法得到资源。 由于上述原则不适用于资源池场景,所以目前可通过调整客户端参数(路径为“客户端安装路径/Yarn/config/yarn-site.xml”)“yarn.resourcemanager.am-scheduling.nod
在场景示例中可查看本服务更详细的场景SDK使用方法。 图3 场景示例 SDK列表 表1提供了MRS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 SDK中心地址 参考文档 Java huaweicloud-sdk-java-v3