幻象客 - 博客分类页面

    爬取淘宝某关键词的所有商品及其信息


    in Python , 爬虫 , 程序语言 2018-11-24

    源代码:https://github.com/Ckend/taobao_scrapy

    语言:Python3

    爬取平台:手机端

    PS:在当前文件夹下先创建好result文件夹

    源代码包含两个Python文件,get_items.py 用于通过关键词获得商品基本信息,包括商品名称、店铺、销量、评论数、图片、优惠、出货地、原价等等。输出格式为.csv文件。

    另一个Python文件: get_review_cloud.py 用于通过userID和itemID (从get_items.py中获得这两个信息) 获得某商品的评论云。输出.csv文件。

    源代码很简单,十几行,逻辑如下:

    1. 访问接口(f=urllib.request.urlopen(url))

    2. 读取源代码并解码为utf-8然后转化为json

    3. 写入至.csv文件。

    以下给出get_items.py的内容,其他的请见GitHub,如果你有收获,请帮忙点个Star~

    get_items.py:

    
    import urllib.request
    
    import urllib.parse
    
    import json
    
    import csv
    
    def write_csv(data, filename):
    
        count = 0
    
        with open(filename, 'a') as outf:
    
            dw...

    阅读更多...

    <博客重构>基于Anyproxy使用"中间人攻击"爬取公众号推送


    in JavaScript , 干货 , 技术原理 , 爬虫 , 程序语言 , 计算机安全 2017-11-12

    感谢:https://zhuanlan.zhihu.com/p/24302048

    以前博客一直使用的是别人制作的框架,typecho、WordPress等都有使用过,但由于是别人的框架,始终不知道其内部运作的原理。这次使用Node.js完全重构了一遍,使得我对整个博客的运作原理清晰了许多,以前看起来很复杂的东西(WordPress 留下的第一印象,虽然WordPress其实不全是用来做博客的),现在看起来竟是这么简单,如果有用框架搭建博客的朋友,建议完全自己做一个试试。当然,这些都不是本次推送的重点,半自动化爬取自己的公众号推送才是重点。

    爬取所需要的环境与工具:

    后端:Node.js + MongoDB

    代理服务器:Anyproxy

    一个安卓模拟器

    服务器环境:

    Node.js + MongoDB

    首先介绍一下Anyproxy, 这是一个基于Node.js的代理服务器,本项目中,Anyproxy的作用如下:若把我们本机当做代理服务器,手机模拟器中的微信当成客户端,那么其运作原理可以如下图所示。手机客户端(Client)发送请求给代理服务器(Server,即本机),本机再将这个请求发送给微信服务器,微信服务器返回信息需要经过本机,再由本机传递给手机客户端。

    anyproxy 中间人攻击 爬取 微信公众号 文章

    在这个过程中,本机承担中间人的作用,而接受到微信返回的信息后,我们可以对那个信息植入脚本,再发送给手机客户端。这就是

    阅读更多...

    使用BeautifulSoup爬取新浪所有国内要闻


    in Python , 爬虫 , 程序语言 2017-09-10

    教你如何用beautifulSoup和lxml解析器爬取新浪新闻

    阅读更多...

    爬虫抓取个人课表


    in Python , 爬虫 , 程序语言 2017-01-09

    今天突发奇想爬了一次课表。或许以后会有大作用。

    语言:python包:BeautifulSoup,requests, re.

    除了re,其他的都是以前讲过的,可以参加之前的推送:<技术向>爬取一个网站的信息

    re是python进行正则表达式所需要的包,我们爬取完课表需要用正则表达式进行格式化。

    下面开始呗。

    我们需要先得到cookie、User-Agent、Referer.Referer参数的作用:告诉服务器我是从哪个页面链接过来的User-Agent参数的作用:判断客户端使用的是什么浏览器的版本及类型

    首先登录你的教务网站,提取Cookie和User-Agent信息:

    爬虫抓取个人课表

    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.90 Safari/537.36''Cookie': 'ASP.NET_SessionId=dvzzem55duqbn245omfbmi55'

    然后我们还需要课表网站的链接,右键学生个人课表,复制链接地址:

    http://jwc.scnu.edu.cn/xskbcx.aspx?xh='这里会是你的学号'&xm='你的名字'&gnmkdm=N121603

    接下来就可以正式开始了:

    首先引入包

    from bs...

    阅读更多...

    <技术向>修正昨天的爬取教程,并介绍一个插件


    in Python , 干货 , 技术原理 , 爬虫 , 程序语言 2016-12-01

    昨天的代码有一部分需要修正一下,完整代码应该是这样:

    from bs4 import BeautifulSoup
    
    import re
    
    import requests
    
    url = "http://stuu.scnu.edu.cn/articles?paged="
    
    def get_page(url):
    
        wb_data = requests.get(url)
    
        soup = BeautifulSoup(wb_data.text,'lxml')
    
        titles = soup.select("div.bloglist-container.clr > article > div.home-blog-entry-text.clr")
    
        texts = soup.select("div.bloglist-container.clr > article > div.home-blog-entry-text.clr > p")
    
        imgs = soup.select("div.bloglist-container.clr > article > a > div > img")
    
        for title,text,img in zip(titles,texts,imgs):
    
           data = {
    
              "标题":title...

    阅读更多...