如何配置服務(wù)器以運(yùn)行爬蟲并存儲(chǔ)數(shù)據(jù)到MySQL:詳細(xì)步驟指南
操作系統(tǒng):CentOS 6.6 64位
CPU:1核
內(nèi)存:1GB
系統(tǒng)盤:20G(云硬盤)
公網(wǎng)帶寬:1Mbps
原本打算給系統(tǒng)安裝桌面環(huán)境,可沒想到速度慢得讓人難以忍受,最終還是決定回歸到字符界面。下面我會(huì)詳細(xì)向大家介紹我是如何配置FTP服務(wù),以及如何將文件上傳到服務(wù)器的具體步驟。
合適配置確定
我找到了一個(gè)挺合適的配置,用它來運(yùn)行我的爬蟲程序,存入MySQL的數(shù)據(jù)量足夠使用。與之前打算添加桌面環(huán)境導(dǎo)致系統(tǒng)卡頓相比,現(xiàn)在這個(gè)僅字符界面的配置要穩(wěn)定多了。之前嘗試桌面環(huán)境,結(jié)果體驗(yàn)不佳,看來穩(wěn)定性和性能比花哨的界面更為關(guān)鍵。
FTP服務(wù)基本設(shè)置
配置FTP服務(wù),需設(shè)置賬戶登錄上傳文件。先將“=YES確認(rèn)”設(shè)置為YES,使本地賬戶能登錄ftp用戶。接著,注釋掉其他敏感賬號(hào),加入自己的登錄賬號(hào)。使用vi編輯器打開/etc/目錄下的配置文件,加入一行*=NO,確保只有自己添加的賬號(hào)有效。完成這三步后,其他設(shè)置暫不修改。
認(rèn)證賬戶添加
確定好允許誰登錄,并且FTP服務(wù)已經(jīng)配置完畢后,接下來需要?jiǎng)?chuàng)建認(rèn)證賬號(hào)。使用“-m”參數(shù)創(chuàng)建一個(gè)目錄,“-d”參數(shù)用于在/home目錄下創(chuàng)建一個(gè)名為ftp的目錄(目錄名可自定義)。該賬戶不具備系統(tǒng)登錄權(quán)限,也無法通過su、sudo等命令獲取最高權(quán)限,這顯著增強(qiáng)了安全性。隨后,為該賬戶設(shè)置密碼,步驟與普通用戶設(shè)置密碼類似,操作簡(jiǎn)便。
PAM模塊設(shè)置
#%PAM-1.0
#原先的第一行,看下面解釋
#auth required /lib64/security/pam_listfile.so item=user sense=deny file=/etc/ftpusers onerr=succeed
auth required /lib64/security/pam_listfile.so item=user sense=deny file=/etc/vsftpd/ftpusers onerr=succeed
auth required /lib64/security/pam_unix.so shadow nullok
auth required /lib64/security/pam_shells.so
account required /lib64/security/pam_unix.so
session required /lib64/security/pam_unix.so
依據(jù)騰訊的官方指導(dǎo)文件,需調(diào)整pam模塊的配置,以對(duì)通過ftp登錄的用戶進(jìn)行篩選。盡管我曾嘗試過,不論是否修改設(shè)置,都能順利登錄ftp,但考慮到安全性,我還是按照文檔的指示進(jìn)行了操作。操作完成后,顯示的目錄為/etc//,因此需要將相關(guān)文件路徑進(jìn)行相應(yīng)的更改。
登陸問題排查
配置完成后嘗試在終端遠(yuǎn)程登錄,卻遇到了超時(shí)錯(cuò)誤。在網(wǎng)頁(yè)上輸入ftp://公網(wǎng)IP地址也無法訪問。然而,在本地通過ftp 127.0.0.1可以成功驗(yàn)證用戶名和密碼登錄,這表明ftp服務(wù)本身運(yùn)作正常。經(jīng)過排查,發(fā)現(xiàn)問題出在防火墻上。我們使用的騰訊云服務(wù)器默認(rèn)設(shè)置了內(nèi)外網(wǎng)訪問權(quán)限控制,導(dǎo)致ftp請(qǐng)求被攔截。
成功上傳文件
處理完防火墻相關(guān)事宜,接著將Linux系統(tǒng)的安全組設(shè)置調(diào)整為允許22端口,這樣云主機(jī)就能接入。之后,用ftp操作,系統(tǒng)能提示輸入用戶名和密碼,登錄也就順利了。上傳文件時(shí),建議先打包,然后通過ftp指令,將文件發(fā)送至服務(wù)器上的/home/ftp/文件夾,文件名可以自定義。
在設(shè)置FTP服務(wù)時(shí),大家是否遇到過相似的問題?若覺得本文對(duì)您有所幫助,不妨點(diǎn)個(gè)贊并轉(zhuǎn)發(fā)一下!
作者:小藍(lán)
鏈接:http://www.tymcc.com.cn/content/8412.html
本站部分內(nèi)容和圖片來源網(wǎng)絡(luò),不代表本站觀點(diǎn),如有侵權(quán),可聯(lián)系我方刪除。