軟件介紹

ScrapydWeb官方版是一款能夠幫助用戶進行Scrapyd集群管理的爬蟲管理平臺，我們可以通過ScrapydWeb來對Scrapy日志進行分析和可視化處理，從而方便你管理Scrapyd集群。

ScrapydWeb官方版軟件簡介

ScrapydWeb(爬蟲管理平臺)是一個用于Scrapyd集群管理的web應用，支持Scrapy日志分析和可視化，支持Scrapyd集群管理、日志可視化、定時任務、郵件通知、移動端UI！

軟件特色

Scrapyd 集群管理

支持所有 Scrapyd JSON API

支持通過分組和過濾來選擇若干個節點

一次操作, 批量執行

Scrapy 日志分析

數據統計

進度可視化

日志分類

增強功能

自動打包項目

集成  LogParser

定時器任務

監控和警報

移動端 UI

web UI 支持基本身份認證

ScrapydWeb官方版常見問題

1、scrapy是什么？

一個爬蟲框架，你可以創建一個scrapy項目

2、scrapyd是什么？

相當于一個組件，能夠將scrapy項目進行遠程部署，調度使用等因此scrapyd可以看作一個cs（client-server）程序，因此毫無疑問我們需要安裝和配置scrapyd(server)和連接的scrapy-client(client)

3、scrapydweb是什么？

是一個基于scrapyd的可視化組件，集成并且提供更多可視化功能和更優美的界面

總結：三者如同葫蘆套娃，總共三層