hadoo安装详细教程和配置:
1、下载依赖包
https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
rmr-2.1.0
rhdfs-1.0.5
rhbase-1.1
复制到/root/R目录
~/R# pwd
/root/R
~/R# ls
rhbase_1.1.tar.gz rhdfs_1.0.5.tar.gz rmr2_2.1.0.tar.gz
2、安装rJava库,在配置好了JDK 1.6的环境后,运行R CMD javareconf命令,R的程序从系统变量中会读取Java配置。然后打开R程序,通过install.packages的方式安装rJava。
3、安装依赖库
在命令行执行:
R CMD javareconf
R
启动R程序
install.packages("rJava")
install.packages("reshape2")
install.packages("Rcpp")
install.packages("iterators")
install.packages("itertools")
install.packages("digest")
install.packages("RJSONIO")
install.packages("functional")
4、安装rhdfs库,在环境变量中增加 HADOOP_CMD 和 HADOOP_STREAMING 两个变量:
vi /etc/environment
HADOOP_CMD=/root/hadoop/hadoop-1.0.3/bin/Hadoop
HADOOP_STREAMING=/root/hadoop/hadoop-1.0.3/contrib/streaming/ hadoop-streaming-1.0.3.jar
5、安装rmr库
R CMD INSTALL rmr2_2.1.0.tar.gz
6、安装rhbase库
安装完成HBase后,还需要安装Thrift,因为rhbase是通过Thrift调用HBase的。
Thrift是需要本地编译的,官方没有提供二进制安装包,首先下载thrift-0.8.0。
在Thrift解压目录输入./configure,会列Thrift在当前机器所支持的语言环境,如果只是为了rhbase,默认配置就可以了。
7、安装rhbase。
下载thrift
wget http://archive.apache.org/dist/thrift/0.8.0/thrift-0.8.0.tar.gz
tar xvf thrift-0.8.0.tar.gz
cd thrift-0.8.0/
下载PHP支持类库(可选)
sudo apt-get install php-cli
下载C++支持类库(可选)
sudo apt-get install libboost-dev libboost-test-dev libboost -program-options-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev
生成编译的配置参数
./configure
编译和安装
make
make install
查看thrift版本
thrift -version
Thrift version 0.8.0
启动HBase的Thrift Server
/hbase-0.94.2/bin/hbase-daemon.sh start thrift
jps
安装rhbase
R CMD INSTALL rhbase_1.1.1.tar.gz
8、查看安装的类库
一般R的类库目录是
/usr/lib/R/site-library或者/usr/local/lib/R/ site-library,
用户也可以使用whereis R的命令查询,自己计算机上R类库的安装位置。
ls /disk1/system/usr/local/lib/R/site-library/
digest functional iterators itertools plyr Rcpp reshape2 rhdfs rJava RJSONIO rmr2 stringr
以上是hadoo安装详细教程和配置教程。