开源组件
11 分钟 读完 (大约 1579 个字)

FastDFS集群搭建与实战

FastDFS是一个轻量级的分布式文件系统，在实际生产环境往往以集群的形式部署，保证了服务的高可用。本文重点阐述FastDFS集群的搭建和项目实战。

工作流程

上传流程图

下载流程图

基本概念可参考作者上篇文章：FastDFS极速入门

底层原理

  • FastDFS不会对文件进行分块存储，直接保存到Storage服务上，这也是不适合超大文件存储的原因，官方建议(4K~500M)，优点：简介高效。
  • FastDFS采用分组存储方式，同一组可以包括多个Storage Server，其中一个Storage接收到上传的文件，会同步文件到同组其他Storage Server。
  • 一个组的存储容量为组内Storage Server容量最小的那个。优点：组内服务压力较大时可以增加Storage Server来缓解压力；系统容量不足时增加组来获得更大的存储空间。
  • 文件上传成功返回的文件ID由组名，磁盘目录和文件名构成。

集群服务器规划

  • 系统环境：centos 7.3

  • 跟踪服务器1(Tracker)：192.168.72.135

  • 跟踪服务器2(Tracker)：192.168.72.136

  • 存储服务器1(Storage)：192.168.72.135—(group1)

  • 存储服务器2(Storage)：192.168.72.136—(group1)

  • 存储服务器3(Storage)：192.168.72.137—(group2)

由于电脑性能有限，但要模拟多group，只虚拟了3个节点，对group1做了两个节点来备份数据，group2为单节点，生产环境要每个组至少两个节点来保证高可用。

安装包

  • fastdfs-5.11.tar.gz

  • fastdfs-nginx-module-master.zip

  • libfastcommon-1.0.36.tar.gz

  • nginx-1.8.1.tar.gz

集群部署

Tracker和Storage部署

  • 1：节点1，节2，节点3分别安装FastDFS，具体安装参考上篇文章：FastDFS极速入门


  • 2：分别关闭三个节点的防火墙，或者配置防火墙开放端口，关闭防火墙: systemctl stop firewalld

  • 3：修改节点1的tracker.conf配置文件：

    1
    2
    3
    >mkdir /data/fdfs-tracker

    >vi /etc/fdfs/tracker.conf

    把base_path修改为：base_path=/data/fdfs-tracker

  • 4：修改节点2的tracker.conf配置文件：同上

  • 5：修改节点1的storage.conf配置文件：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    > mkdir /data/fdfs-storage/base

    > mkdir /data/fdfs-storage/storage0

    >vi /etc/fdfs/storage.conf

    把group_name修改为：group_name=group1

    把base_path修改为：base_path=/data/fdfs-storage/base

    把store_path0修改为：store_path0=/data/fdfs-storage/storage0

    把tracker_server修改两个tracker节点地址：

        tracker_server=192.168.72.135:22122

        tracker_server=192.168.72.136:22122

  • 6：修改节点2的storage.conf配置文件，同步骤5。


  • 7：修改节点3的storage.conf配置文件，

    把group_name修改为：group_name=group2

    其他同步骤5。


    8：节点1，节点2上启动tracker服务

    service fdfs_trackerd start

9：节点1，节点2和节点3上启动storage服务

>service fdfs_storaged start

Tracker和Storage安装完成，可以使用FastDFS自带的客户端进行上传下载测试，具体操作方法，参考上篇

fastdfs-nginx-module和nginx安装

  • 所有节点安装fastdfs-nginx-module模块
  • fastdfs-nginx-module模块作用：

文件上传到组内一个storage存储后，storage服务会吧文件同步到组内其他storage，这就存在时间延时问题，如果此时客户端通过nginx访问到还未同步完成的组内其他storage会导致文件不存在无法访问错误，fastdfs-nginx-module可以解决该问题的发生，通过重定向到源storage节点来获取文件。

  • root目录解压fastdfs-nginx-module：

    unzip fastdfs-nginx-module.zip


  • 安装依赖包：

    yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel


  • 安装nginx

    tar -zxvf nginx-1.8.1.tar.gz
    cd nginx-1.8.1
    ./configure –prefix=/opt/nginx –add-module=/roo/fastdfs-nginx-module/src
    make && make install


  • 复制fastdfs-nginx-module中配置文件到/etc/fdfs目录，并修改配置文件：

    cp /root/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs
    vi /etc/fdfs/mod_fastdfs.conf

    tracker_server修改为：

    tracker_server=192.168.72.135:22122
tracker_server=192.168.72.136:22122

    group_name修改为：

    节点1：group_name=group1

节点2：group_name=group1

节点3：group_name=group2

    url_have_group_name修改为：

    url_have_group_name = true

  • 复制FastDFS部分配置文件到/etc/fdfs目录：

    cd /root/fastdfs-5.1/conf
    cp http.conf mime.types /etc/fdfs/

修改nginx.conf配置文件：

  • 启动nginx：

    ./nginx -c conf/nginx.conf

到此FastDFS集群已经搭建完成，文件上传后可以通过任意storage节点上的nginx来获得文件

实战

FastDFS提供了C，PHP和java客户端，选用java客户端来进行实战。

创建maven工程，pom.xml文件添加依赖：

1
2
3
4
5
<dependency>
       <groupId>net.oschina.zcx7878</groupId>
        <artifactId>fastdfs-client-java</artifactId>
        <version>1.27.0.0</version>
</dependency>

添加配置文件

src/main/resoureces目录下添加fdfs_clent.conf配置文件，内容如下：

1
2
3
4
5
6
7
8
connect_timeout = 60
network_timeout = 60
charset = UTF-8
http.tracker_http_port = 8080
http.anti_steal_token = no
#tracker服务地址
tracker_server = 192.168.72.135:22122
tracker_server = 192.168.72.136:22122

创建FdfsClient类
静态代码块：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
    private static StorageClient1 storageClient1 = null;
    private static String trackerServerUrl = null;
    //初始化FastDFS Client
    static{
        try{
            ClientGlobal.init("src/main/resources/fdfs_client.conf");
            TrackerClient trackerClient = new TrackerClient(ClientGlobal.g_tracker_group);
            TrackerServer trackerServer = trackerClient.getConnection();
            if (trackerServer == null){
                System.out.println("getConnect  return null");
            }
            trackerServerUrl = trackerServer.getInetSocketAddress().getHostString();
            System.out.println("trackerServerUrl"  + trackerServerUrl);
            StorageServer storageServer = trackerClient.getStoreStorage(trackerServer);
            if (storageServer == null){
                System.out.println("getStoreStorage return null");
            }
            storageClient1 = new StorageClient1(trackerServer,storageServer);
        }catch (Exception e){
            e.printStackTrace();
        }
    }

文件上传

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
  public static String uploadFile(File file, String fileExt, Map<String,String> metaList) {
        try {
            byte[] buff = FileUtils.getFileByte(file);
            NameValuePair[] nameValuePairs = null;
            if (metaList != null) {
                nameValuePairs = new NameValuePair[metaList.size()];
                int index = 0;
                for (Iterator<Map.Entry<String,String>> iterator = metaList.entrySet().iterator(); iterator.hasNext();) {
                    Map.Entry<String,String> entry = iterator.next();
                    String name = entry.getKey();
                    String value = entry.getValue();
                    nameValuePairs[index++] = new NameValuePair(name,value);
                }
            }
           return "http://"+ trackerServerUrl + "/" + storageClient1.upload_file1(buff, fileExt, nameValuePairs);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

文件下载

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
    public static int downloadFile(String fileId, String filePath,String fileName) {
        FileOutputStream fos = null;
        try {
            byte[] content = storageClient1.download_file1(fileId);
            FileUtils.getFile(content,  filePath, fileName);
            return 0;
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (fos != null) {
                try {
                    fos.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return -1;
    }

获得文件属性

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
    public static Map<String,String> getFileMetadata(String fileId) {
        try {
            NameValuePair[] metaList = storageClient1.get_metadata1(fileId);
            if (metaList != null) {
                HashMap<String,String> map = new HashMap<String, String>();
                for (NameValuePair metaItem : metaList) {
                    map.put(metaItem.getName(),metaItem.getValue());
                }
                return map;
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

文件删除

1
2
3
4
5
6
7
8
    public static int deleteFile(String fileId) {
        try {
            return storageClient1.delete_file1(fileId);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return -1;
    }

喜欢这篇文章？打赏一下作者吧

【Docker】：全面认识Docker和基本指令
FastDFS极速入门与安装

评论

扫码关注我

分类

标签云

ELK JSON Snappy XML const delete docker free malloc mysql new rabbitmq redis 一维数组 二维数组 内联函数 函数指针 函数重载 友元 取地址 命名空间 指针函数 指针数组 数组指针 构造函数 析构函数 标准输入与输出 树 浅拷贝 深拷贝 类的分离式写法 继承 虚继承 配置文件 链表

友情链接

最新文章

归档

标签

ELK 1
JSON 1
Snappy 1
XML 1
const 1
delete 1
docker 4
free 1
malloc 1
mysql 1
new 1
rabbitmq 1
redis 1
一维数组 1
二维数组 1
内联函数 1
函数指针 1
函数重载 1
友元 1
取地址 2
命名空间 1
指针函数 1
指针数组 1
数组指针 1
构造函数 1
析构函数 1
标准输入与输出 1
树 3
浅拷贝 1
深拷贝 1
类的分离式写法 1
继承 1
虚继承 1
配置文件 1
链表 2

最新文章

归档

标签

ELK 1
JSON 1
Snappy 1
XML 1
const 1
delete 1
docker 4
free 1
malloc 1
mysql 1
new 1
rabbitmq 1
redis 1
一维数组 1
二维数组 1
内联函数 1
函数指针 1
函数重载 1
友元 1
取地址 2
命名空间 1
指针函数 1
指针数组 1
数组指针 1
构造函数 1
析构函数 1
标准输入与输出 1
树 3
浅拷贝 1
深拷贝 1
类的分离式写法 1
继承 1
虚继承 1
配置文件 1
链表 2
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×