【大话QT之十】实现FTP断点续传

应用需求：

        网盘开发工作逐步进入各部分的整合阶段，当用户在client改动或新添加一个文件时。该文件要同步上传到server端相应的用户文件夹下，因此针对传输数据（即：上传、下载）这一块如今既定了三种传输方式，即：Ftp传输、HTTP传输以及基于UDT的传输。

且这三种传输数据方式是可配的，能够通过不同的接口调用。相比这三种方式。基于UDT的大量文件传输是比較值得研究与创新的地方，它在底层是基于UDP，在上层实现了可靠性的控制；同一时候它充分考虑到了基于在公网环境下基于Tcp进行传输时拥塞控制算法的缺点，实现了自己的拥塞控制算法，在实际測试中其性能也是明显高于基于Tcp的传输。

关于UDT实现文件传输仅仅进行了技术调研，还没有真正实现。这一部分内容将在兴许文章中提及。这三天的时间仅仅实现了基于FTP的支持断点续传的文件上传、下载。

实现原理：

        离我们近期的断点续传的应用样例是：迅雷。当使用迅雷下载一个大文件时，它实现了以下的功能：1> 电脑突然断电或程序突然退出后，当我们又一次启动迅雷时它还会从程序退出时已经下载的文件点继续向后下载，而不是文件又从头開始下载。2> 能够设置採用多个线程同一时候下载，每一个线程仅仅下载文件里的某一部分，比如：使用三个线程下载一个9000个字节的文件。则第一个线程下载第1—3000个字节，第二个线程下载第3001—6000个字节，第三个线程下载第6001—9000个字节。这三个线程是同一时候下载一个文件，仅仅是下载不同的部分。它会把下载的文件片段暂存在某个位置，当三个线程所有下载完毕时再拼成一个完整的文件。

这里不用多说，其长处显而易见。

        事实上，断点续传实现的原理非常easy，就是不管是上传还是下载时都能够实时记录下已经上传了或下载了多少字节，假设中间由于某种原因传输断开，下载启动时仅仅须要再又一次从已经下载的位置继续下载或上传就能够了。

利用Qftp实现断点续传：

        QT中有一个实现Ftp的类：Qftp，它提供了主要的ftp的使用方式，连接ftpserver：connectToHost；登录：login。上传：put；下载：get。使用这些方法能够实现与ftpserver交互实现文件上传、下载。

可是使用它原生提供的put与get方法，无法实现断点续传。因此。为了实现断点续传我们须要又一次实现文件传输。并在当中加入断点续传的控制。事实上Ftp文件传输的本质也是使用Tcp来实现底层的文件传输。大体思路就是：利用Qftp的connectToHost登录ftpserver，使用login登录ftpserver，使用rawCommand发送ftp原生态的命令，使用QTcpSocket实现文件数据的传输。

        首先，使用QTcpSocket实现文件数据的传输，须要设置ftpserver为“PASV”被动接收方式。即ftpserver被动地接收来自client的连接请求。

        Ftpserver全部能够发送的原生命令有：http://www.nsftools.com/tips/RawFTP.htm。

        实现断点上传的命令发送流程：

        1、rawCommand("TYPE I")；设置数据传输的类型：二进制数据或ASCII

        2、rawCommand("PASV")。设置server为被动接收方式。发送PASV命令后。server会返回自己开启的传输数据的port。等待client连接进行传输数据。

返回的数据格式为：“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”，然后从返回的信息里面或去相关的信息，ftpserver的IP地址：192.168.2.18；ftpserver开启的用于传输数据的port：118*256 + 32 = 30240。获得该信息后就须要建立TcpSocket的通信链路。连接ftpserver。

        3、rawCommand("APPE  remote-file-path")；设置server端remote-file-path为追加的方式。

假设此时改文件不存在，则server端会创建一个。

        4、完毕上述流程后，就能够打开本地文件进行读取，并通过tcpsocket链路发送出去(write)。

        实现断点下载的命令发送流程：       

        1、rawCommand("TYPE I")；设置数据传输的类型：二进制数据或ASCII

        2、rawCommand("PASV")；设置server为被动接收方式。发送PASV命令后，server会返回自己开启的传输数据的port，等待client连接进行传输数据。

返回的数据格式为：“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”。然后从返回的信息里面或去相关的信息，ftpserver的IP地址：192.168.2.18；ftpserver开启的用于传输数据的port：118*256 + 32 = 30240；获得该信息后就须要建立TcpSocket的通信链路。连接ftpserver。

        3、rawCommand("REST  size")；该命令设置ftpserver从本地文件的哪个地方開始进行传输数据。

        4、rawCommand(“RETR  remote-file-path”)；開始从远程主机传输文件。

        文件上传时在设置APPE返回之后，就能够打开本地文件进行上传；文件下载时，收到PASV的返回信息建立tcpsocket的连接后，须要建立readyRead()的信号槽，在该槽函数中实现数据的读取。

关键代码：

1. 处理rawCommand()发送原生命令返回后的槽函数：

void LHTFileTransfer::ProcRawCommandReply(int nReplyCode, QString strDetail)
{
    //! TYPE
    if (200 == nReplyCode)
    {
             m_ftpHandle->rawCommand("PASV");

			 if (currentItem.task_type.compare("Upload") == 0)
			 {
				 op = QString("Put");
			 }
			 else if (currentItem.task_type.compare("DownLoad") == 0)
			 {
				 op = QString("Get");
			 }
    }

    //! PASV
    else if(227 == nReplyCode)
    {
        const QString backResult = strDetail;

		if (NULL != m_sendDataSocket)
		{
			m_sendDataSocket->close();
			delete m_sendDataSocket;
		}

		 m_sendDataSocket = new QTcpSocket();

		connect(m_sendDataSocket, SIGNAL(readyRead()), this, SLOT(ProcReadyRead()), Qt::UniqueConnection);
		connect(m_sendDataSocket, SIGNAL(readChannelFinished()), this, SLOT(ProcReadChannelFinished()), Qt::UniqueConnection);
		connect(m_sendDataSocket, SIGNAL(bytesWritten(qint64)), this, SLOT(ProcBytesWritten(qint64)), Qt::UniqueConnection);

        QStringList lstr = backResult.split("(").last().split(")").first().split(",");
        int nAddress = lstr.at(0).toInt()<<24 |
                       lstr.at(1).toInt()<<16 |
                       lstr.at(2).toInt()<<8 |
                       lstr.at(3).toInt();
        QHostAddress hostAddress(nAddress);
        int nPort = lstr.at(lstr.length() - 2).toInt() * 256 + lstr.last().toInt();
        m_sendDataSocket->connectToHost(hostAddress, nPort);

        //! APPE , 须要接远程文件的绝对路径
		QString appeShell;
		if (op.compare("Put") == 0)
		{
			appeShell = QString("APPE %1").arg(currentItem.file_remote_path);
		}
		else if (op.compare("Get") == 0)
		{
            //! 这里的REST后面的大小应该为本地保存的问价的大小
			appeShell = QString("REST 0");
		}        

        m_ftpHandle->rawCommand(appeShell);
    }

    //! 发送数据
    else if (150 == nReplyCode)
    {
		if (op.compare("Put") == 0)
		{
			m_fileHandle = new QFile(currentItemFilePath);

			if (!m_fileHandle->open(QIODevice::ReadOnly))
			{
				qDebug() << "file open error ...";
				return ;
			}

			const qint64 fileSize = m_fileHandle->size();

			m_fileHandle->seek(currentItem.uploaded_size);

			while(!m_fileHandle->atEnd())
			{
				const qint64 nBlockSize = 16 * 1024 ;
				char buf[16 * 1024];

				qint64 nowPos = m_fileHandle->pos();

				qint64 readLen = m_fileHandle->read(buf, nBlockSize);

				if (readLen !=0 && readLen != -1)
				{
					m_sendDataSocket->write(buf, readLen);
					m_sendDataSocket->flush();
					emit DataTransferProgress(nowPos, fileSize);
				}
			}

			m_sendDataSocket->flush();
			m_sendDataSocket->close();
			m_sendDataSocket = NULL ;

			emit DataTransferProgress(m_fileHandle->pos(), m_fileHandle->size());

			m_procTask.remove(currentItemFilePath);

			m_fileHandle->close();

			//emit StartNextTask();

		}
		else if(op.compare("Get") == 0)
		{
			m_fileHandle = new QFile(currentItem.file_remote_path);

			if (!m_fileHandle->open(QIODevice::WriteOnly))
			{
				qDebug() << "file open error ...";
				return ;
			}
		}
    }

    else if(350 == nReplyCode)
    {
        QString shell = QString("RETR %1").arg(currentItemFilePath);
		m_ftpHandle->rawCommand(shell);
    }
}

2. 断点下载时实现buffer读取的函数：

void LHTFileTransfer::ProcReadyRead()
{
    qDebug() << "[DownLoad] ProcReadyReady ....";
	QByteArray buffer = m_sendDataSocket->readAll();
	m_fileHandle->write(buffer);	

	m_fileHandle->flush();

	emit DataTransferProgress(m_fileHandle->size(), 0);
}

面临的问题以及兴许须要优化的地方：

1. 字符编码问题。即当须要上传的文件名称是中文名称时，须要对其进行转码。

2. 如今实现的是单线程，尚未加入多线程断点下载以及队列的实现。