網域名稱俱樂部


返回   網域名稱俱樂部 > 電腦與網路技術 > 電腦網路相關技術

回覆
 
主題工具
  #21  
舊 2011-01-15, 04:02 PM
edenCC edenCC 目前離線
進階會員
 
註冊日期: 2008-06-16
住址: https://infras.cn
文章: 381
預設

从配置上看是web服务器配置有可优化的地方。
这台主机性能应该不错,要不早挂掉了。
showthread.php 这个脚本不应该占用24MB的常住内存,不知最近是否有修改vbb的配置?比如增加插件,或者修改过服务配置等

判断是否是爬虫的问题前,可先分析服务器日志,看看爬虫访问量是否有异常。主要的爬虫比如google可通过对方提供的webmasters接口限制速度。
__________________
Infrastructure for IT companies

此篇文章於 2011-01-15 04:04 PM 被 edenCC 編輯。
回覆時引用此篇文章
  #22  
舊 2011-01-15, 04:07 PM
edenCC edenCC 目前離線
進階會員
 
註冊日期: 2008-06-16
住址: https://infras.cn
文章: 381
預設

robots.txt 里也有个抓取速度的设置,Googlebot会忽略这个设置,其他的spider不清楚。
__________________
Infrastructure for IT companies
回覆時引用此篇文章
  #23  
舊 2011-01-15, 04:36 PM
weiye 的頭像
weiye weiye 目前離線
進階會員
 
註冊日期: 2006-05-16
文章: 305
預設

何不用 .htaccess 檔掉一些不要的 sipder,

像是這裡:http://sofree.cc/htaccess-bot/
__________________
Life, it is. https://sky.tw
回覆時引用此篇文章
  #24  
舊 2011-01-15, 04:38 PM
哈啦 的頭像
哈啦 哈啦 目前離線
論壇管理員
 
註冊日期: 2002-05-28
文章: 22,995
預設

謝謝各位,這些東西對我這個外行來說實在很頭大。
__________________
咖啡走路
微博


您是網站站長嗎?歡迎到站長俱樂部 一起討論吧。
按我看版規
code.club
回覆時引用此篇文章
  #25  
舊 2011-01-15, 04:46 PM
MiniFoot 的頭像
MiniFoot MiniFoot 目前離線
進階會員
 
註冊日期: 2010-03-25
文章: 498
預設

增加搜尋每筆之間的時間不知道有沒有幫助?

有些網站執行 "搜尋" 後, 下一次再執行 "搜尋" 的時間是20秒後或1分鐘後.
回覆時引用此篇文章
  #26  
舊 2011-01-15, 05:43 PM
edenCC edenCC 目前離線
進階會員
 
註冊日期: 2008-06-16
住址: https://infras.cn
文章: 381
預設

引用:
作者: 哈啦 查看文章
謝謝各位,這些東西對我這個外行來說實在很頭大。
哈大,请Check 刚发的PM。如果方便,小弟可协助检查。
__________________
Infrastructure for IT companies
回覆時引用此篇文章
  #27  
舊 2011-01-15, 07:23 PM
哈啦 的頭像
哈啦 哈啦 目前離線
論壇管理員
 
註冊日期: 2002-05-28
文章: 22,995
預設

我剛去vbulletin後台把論壇設定中的「立即更新主題查看次數」改為NO,原來之前都設成YES,不知是否可省下一些資源?
__________________
咖啡走路
微博


您是網站站長嗎?歡迎到站長俱樂部 一起討論吧。
按我看版規
code.club
回覆時引用此篇文章
  #28  
舊 2011-01-15, 07:36 PM
hginli 的頭像
hginli hginli 目前離線
普通會員
 
註冊日期: 2010-05-17
文章: 55
預設

可以把一些沒必要的功能關掉 或拿掉!

像是最下面那個上傳圖片的!!:P

我想大多數人 應該都有自己習慣用的image host
__________________
回覆時引用此篇文章
  #29  
舊 2011-01-15, 11:30 PM
dmwc dmwc 目前離線
進階會員
 
註冊日期: 2005-05-02
文章: 1,062
預設

如果被搜尋引擎的 bot 灌爆,首先先找出來是那些網頁,可能是ㄧ些對搜尋沒用的網頁,但又特別吃資源,例如以我用的 CMS ,在 Tags 頁會相當吃資源,就被 yahoo 和 百度 攻陷

yahoo 或 google ,可以改 robot.txt ,要他們把無用的網頁不要探索,但如百度他們是不管 robot.txt 的,就直接用 .htaccess 擋掉 ( Windows 主機請改用封 ip 或裝 URLrewrite 的相關軟體 )

建議哈大,竟然已經知道超大流量的時間,先去開 apache log 找那段時間的存取紀錄,應該很簡單就可以找到答案
回覆時引用此篇文章
  #30  
舊 2011-01-16, 03:26 PM
a40136 a40136 目前離線
進階會員
 
註冊日期: 2007-07-01
文章: 261
預設

引用:
作者: dmwc 查看文章
如果被搜尋引擎的 bot 灌爆,首先先找出來是那些網頁,可能是ㄧ些對搜尋沒用的網頁,但又特別吃資源,例如以我用的 CMS ,在 Tags 頁會相當吃資源,就被 yahoo 和 百度 攻陷

yahoo 或 google ,可以改 robot.txt ,要他們把無用的網頁不要探索,但如百度他們是不管 robot.txt 的,就直接用 .htaccess 擋掉 ( Windows 主機請改用封 ip 或裝 URLrewrite 的相關軟體 )

建議哈大,竟然已經知道超大流量的時間,先去開 apache log 找那段時間的存取紀錄,應該很簡單就可以找到答案
百度很難擋,我覺得他們家的蜘蛛甚至比谷哥還多。
回覆時引用此篇文章
回覆

主題工具

發文規則
不可以發表新主題
不可以發表回覆
不可以上傳附件
不可以編輯自己的文章

啟用 BB 代碼
論壇啟用 表情符號
論壇啟用 [IMG] 代碼
論壇禁用 HTML 代碼



所有時間均為 +8。現在的時間是 05:15 PM


本站主機由網易虛擬主機代管
Powered by vBulletin® 版本 3.8.4
版權所有 ©2000 - 2024,Jelsoft Enterprises Ltd.