• 0

    用户访问量

  • 0

    注册用户数

  • 0

    在线视频观看人次

  • 0

    在线实验人次

hadoo安装详细教程和配置

作者:云创智学|发布时间:2022-01-06 11:26:32.0|来源:云创智学

hadoo安装详细教程和配置:

1、下载依赖包

https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

rmr-2.1.0

rhdfs-1.0.5

rhbase-1.1

复制到/root/R目录

~/R# pwd

/root/R

~/R# ls

rhbase_1.1.tar.gz rhdfs_1.0.5.tar.gz rmr2_2.1.0.tar.gz


2、安装rJava库,在配置好了JDK 1.6的环境后,运行R CMD javareconf命令,R的程序从系统变量中会读取Java配置。然后打开R程序,通过install.packages的方式安装rJava。


3、安装依赖库

在命令行执行:

R CMD javareconf 

R

启动R程序

install.packages("rJava")

install.packages("reshape2")

install.packages("Rcpp")

install.packages("iterators")

install.packages("itertools")

install.packages("digest")

install.packages("RJSONIO")

install.packages("functional")


4、安装rhdfs库,在环境变量中增加 HADOOP_CMD 和 HADOOP_STREAMING 两个变量:

vi /etc/environment

HADOOP_CMD=/root/hadoop/hadoop-1.0.3/bin/Hadoop

HADOOP_STREAMING=/root/hadoop/hadoop-1.0.3/contrib/streaming/ hadoop-streaming-1.0.3.jar


5、安装rmr库

R CMD INSTALL rmr2_2.1.0.tar.gz


6、安装rhbase库

安装完成HBase后,还需要安装Thrift,因为rhbase是通过Thrift调用HBase的。

Thrift是需要本地编译的,官方没有提供二进制安装包,首先下载thrift-0.8.0。

在Thrift解压目录输入./configure,会列Thrift在当前机器所支持的语言环境,如果只是为了rhbase,默认配置就可以了。


7、安装rhbase。

下载thrift

wget http://archive.apache.org/dist/thrift/0.8.0/thrift-0.8.0.tar.gz


tar xvf thrift-0.8.0.tar.gz

cd thrift-0.8.0/

下载PHP支持类库(可选)

sudo apt-get install php-cli

下载C++支持类库(可选)

sudo apt-get install libboost-dev libboost-test-dev libboost -program-options-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev

生成编译的配置参数

./configure

编译和安装

make

make install

查看thrift版本

thrift -version

 Thrift version 0.8.0

启动HBase的Thrift Server

/hbase-0.94.2/bin/hbase-daemon.sh start thrift

jps 

安装rhbase

R CMD INSTALL rhbase_1.1.1.tar.gz


8、查看安装的类库

一般R的类库目录是

/usr/lib/R/site-library或者/usr/local/lib/R/ site-library,

用户也可以使用whereis R的命令查询,自己计算机上R类库的安装位置。

ls /disk1/system/usr/local/lib/R/site-library/

digest functional iterators itertools plyr Rcpp reshape2 rhdfs rJava RJSONIO rmr2 stringr


以上是hadoo安装详细教程和配置教程。










联系方式
企业微信