scrapy

scrapy 爬虫

字数统计: 62阅读时长: 1 min

 2019/05/13   Share

Scrapy爬虫入门

开发环境manjaro+python3

1.安装Scrapy

sudo pip install scrapy

这里更换镜像源安装会快点，在~/.pip/pip.conf中添加以下内容即可

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com

2.Scrapy框架

原文作者：ShallowRiver

原文链接：http://yoursite.com/2019/05/13/Scrapy爬虫学习/

发表日期：May 13th 2019, 7:01:57 pm

更新日期：July 16th 2019, 9:23:49 am

Next Post

iscc web6
Previous Post

git小计

CATALOG

1. Scrapy爬虫入门
1. 1.1. 1.安装Scrapy
2. 1.2. 2.Scrapy框架



缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是archer根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：

jsonContent:
  meta: false
  pages: false
  posts:
    title: true
    date: true
    path: true
    text: false
    raw: false
    content: false
    slug: false
    updated: false
    comments: false
    link: false
    permalink: false
    excerpt: false
    categories: true
    tags: true