git 地址: Earth 特性 一个简单灵活的Java爬虫框架,可以快速开发出一个高效、易维护的爬虫。 简单的API,可快速上手 模块化的结构,可...

反爬 因为反爬虫暂时是个较新的领域,因此有些定义要自己下。我们内部定义(携程)是这样的: 爬虫:使用任何技术手段,批量获取网站信息的一种方式。关键在...

爬虫 什么是爬虫? 简单的来,使用任何技术手段,批量获取网站信息的一种方式。关键在于批量。 现在很多都是数据抓取爬虫,其实爬虫还可以模拟人为的执行...

什么是webmagic 前点评网大牛 黄亿华 开发,代码质量极佳,参考了业界最优秀的爬虫Scrapy 设计。在码云上抓取框架排名总第二,最优质项目...

前言 元旦看着空间和朋友圈各种新年祝福愿望,于是萌生了想统计生成标签的想法。朋友圈有点难度,先空间练练手。 效果图 思路 抓包登陆发现http参数有...

解决 Git本地没有提交(包括没有执行add或commit操作的代码)却被还原(merge),找回本地文件记录的方法: 右键【项目根目录】-Git-...

下载ZK 选择你要下载的安装包,这里我选择 zookeeper-3.4.11/ https://archive.apache.org/dist/zo...

前言 本想找一个云笔记平台存一些笔记,首选肯定是有道云、印象笔记、noteone之类的。可是,可是他们收费啊!!!而且他们对代码的高亮支持的不是很友...

Let’s Encrypt 及 Certbot 简介 Let’s Encrypt 是 一个叫 ISRG ( Internet Security R...

前言 在日常开发中,我们经常会遇到需要调用外部服务和接口的场景。外部服务对于调用者来说一般都是不可靠的,尤其是在网络环境比较差的情况下,网络抖动很容...

前言 刚开始google okhttp如何设置相关资料时,这篇文章 https://stackoverflow.com/questions/3555...

1、安装squid、http(安装过squid就直接安装httpd ) yum install -y squid&nb...