检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"authentication" - "auth" "integrity" - "auth-int" 获取集群中安装ThriftServer对应实例的配置文件。 方法一：选择“集群 > 服务 > HBase > 实例”，单击待操作的实例ThriftServer进入详情界面，获取配置文件“hdfs-site.xml”、“core-site
据迁移任务。 步骤1：新建数据连接 登录CDM管理控制台。 创建CDM集群，该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致，保证CDM集群和MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签，单击“新建连接”。
若不存在，需提前手动创建： user/<用户名>/.Trash user/omm/.Trash 文件过期删除天数 策略配置范围内的对象最后一次更新后时间达到指定的天数后，对象将过期并自动被OBS删除。 30天 单击“确定”，完成生命周期规则配置。 若您需修改生命周期的内容，请单击
IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已安装客户端时编译并运行程序 导出Jar包。 构建jar包方式有以下两种： 方法一： 选择“Maven > 样例工程名称
FusionInsight_Cluster_1_Services_Client.tar 执行如下命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如： sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。 开始位置：截取开始位置，从序号1开始。 结束位置：截取结束位置，不确定字符串长度时，可指定为-1表示被截取字段的末尾。
将会在样例工程的target下生成含有“-with-dependencies”字段的jar包。 运行JDBC样例程序： 在Linux上创建一个目录作为运行目录，如“/opt/jdbc_example”，将1中生成的“target”目录下包名中含有“-with-dependenci
SimpleConsumer API属于lowlevel的Consumer API需要访问zookeeper元数据，管理消费Topic队列的offset，一般情况不推荐使用。 代码样例 SimpleConsumer API主方法需要传入三个参数，最大消费数量、消费Topic、消费的Topic分区。
icmp_seq=4 Destination Host Unreachable 解决办法 设置为正确的IP，必须为本机的IP，如果端口被占用，重新配置一个空闲的端口。 配置正确的证书路径。 联系网络管理员，恢复网络。 父主题： 使用Flume
HetuEngine”，进入HetuEngine服务页面。 选择“配置 > 全部配置”，搜索“task.writer-count”（每个worker单一查询时writer的并行线程数），查看参数值是否为“1”，否则改为“1”。 在“概览”页签下的“基本信息”区域，单击“HSConsole W
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。 开始位置：截取开始位置，从序号1开始。 结束位置：截取结束位置，不确定字符串长度时，可指定为-1表示被截取字段的末尾。
用WinScp工具将Storm客户端安装包导入Linux环境并安装客户端，参见准备Linux客户端环境。 如果集群启用了安全服务，需要从管理员处获取一个“人机”用户，用于认证，并且获取到该用户的keytab文件。将获取到的文件拷贝到示例工程的 src/main/resources目录。 获
Spark同步HBase数据到CarbonData的应用开发样例代码。 本示例工程中，应用将数据实时写入HBase，用于点查业务。数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 sparknormal-examples/SparkHbasetoHbaseJavaExample
Timer timer = new Timer(); //表示在3秒之后开始执行，并且每2秒执行一次 timer.schedule(new TimerTask() {
ThirdKafka数据库的Topic需要能被MRS集群消费，操作步骤请参考ThirdPartyKafka前置准备。 在FusionInsight Manager中创建一个人机用户，例如“cdluser”，加入用户组cdladmin、hadoop、kafka、supergroup，主组选择“cdladmin”
在租户资源中添加租户，例如创建租户sparkstatic1，具体请参见添加MRS租户章节。 对于开启了Kerberos认证的集群，需要创建一个业务用户，例如创建用户“sparkuser”，该用户属于hive、hadoop、supergroup组，主组为hive，角色绑定sparkstatic1。
{pid}，其中{pid}为上一步中查询到的进程号。 等待进程自动重启，可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动，如果可以查到结果说明进程启动成功。 为各组件添加或修改配置项，配置项的值与超时时间一致，单位为秒。 HDFS/M
问集群内的HDFS文件系统，具体请参考配置MRS集群通过IAM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。 请选择如下其中一种配置即可（推荐使用委托方式）。 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置MRS集群通过IAM委托对接OBS。
调整“-XX:NewSize”大小的时候，建议把其设置为“-Xmx”大小的1/8。 RegionServer需要的内存一般比HMaster要大。在内存充足的情况下，堆内存可以相对设置大一些。 根据机器的内存大小设置“-Xmx”大小：机器内存>200G，“-Xmx”设置为32G；128G<机器
ar包，因此会出现ClassNotfound的错误从而导致删除失败。 解决方法：该方式创建的UDF不支持通过其他方式删除，只能通过与创建时一致的方式删除。 父主题： SQL和DataFrame
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
