一个基于phpQuery的php通用采集类分享

原文：

未知的世界：一场心灵的冒险之旅

我们生活在一个充满奇迹和神秘的世界里。我们的目光总是被那些耀眼的事物所吸引，却忽略了世界背后隐藏的未知领域。今天，让我们踏上一次心灵的冒险之旅，那些令人神往的未知世界。

从山巅到谷底，从沙漠到海洋，每一个角落都隐藏着未知的奥秘。有时候，我们需要勇敢地走出舒适区，面对未知的挑战。正是这些挑战塑造了我们的个性，让我们变得更加坚韧和成熟。每一次冒险都会让我们成长，让我们更加珍惜人生的每一刻。

这场冒险之旅不仅仅是对未知的，更是对内心的挖掘。我们会发现自己的内心深处潜藏着无限的潜力，只是等待着被发掘。当我们勇敢地面对困难，挑战自我时，这些潜力就会被激发出来。我们会变得更加自信，更加坚定地走自己的路。

在未知的过程中，我们还会遇到许多志同道合的人。他们与我们分享着同样的热情和梦想，一起这个世界的奥秘。我们会相互学习，相互成长，共同创造美好的未来。

这场心灵冒险之旅可能会充满艰辛和挑战，但我们不应该感到害怕。因为每一次的尝试都是一次成长的机会。当我们勇敢地面对未知，拥抱挑战时，我们会发现生活的美好和意义。

让我们踏上这次心灵的冒险之旅，未知的世界。让我们勇敢地面对挑战，发掘自己的潜力，创造属于自己的美好未来。

未知领域：心灵冒险的奇妙之旅

我们身处的世界宛如一本神秘的书，每一页都隐藏着未知的奥秘和令人神往的秘密。我们的目光常常被表面的繁华所吸引，却忽略了背后更为引人入胜的未知领域。今天，让我们一同踏上心灵的冒险之旅，深入这片神秘的世界。

无论是高山之巅还是深谷之底，沙漠之中还是海洋之底，每一个角落都充满了未知的魅力和无尽的惊奇。有时候，我们需要勇敢地走出安逸的舒适区，迎接未知的挑战。正是这些挑战塑造了我们独特的个性，让我们在经历中变得更为坚韧和成熟。每一次冒险都是一次成长的契机，让我们更加珍视人生的每一刹那。

这场冒险之旅不仅是对外部世界的，更是对内心世界的挖掘。我们会惊喜地发现，内心深处蕴藏着无尽的潜能，只等待着被发掘。当我们勇敢地面对困境，挑战自我时，这些潜能便会如泉水般涌现。我们会变得更加自信，更加坚定地走出自己的道路。

在未知的过程中，我们还会遇到许多志同道合的旅伴。他们与我们共享着同样的热情和梦想，一同这个世界的奥秘。我们彼此学习，共同成长，携手共创美好的未来。

一、采集类源码

--

曾经，我编写了一个通用列表采集类，名为QueryList。这个版本的作者是JAE。它基于phpQuery库，一个能够轻松处理HTML文档的PHP库。

```php

// 引入必要的phpQuery库

require_once '../phpQuery/phpQuery/phpQuery.php';

class QueryList {

// 私有属性包括页面URL、正则表达式数组、HTML内容等

private $pageURL;

private $regArr = array();

public $jsonArr = array();

private $regRange;

private $html;

// 构造函数接收页面地址、选择器数组和块选择器作为参数

function QueryList($pageURL, $regArr = array(), $regRange = '') {

$this->pageURL = $pageURL;

// 使用curl获取页面内容，包括https页面

$ch = curl_init();

curl_set($ch, CURLOPT_URL, $this->pageURL);

curl_set($ch, CURLOPT_SSL_VERIFYPEER, false);

curl_set($ch, CURLOPT_SSL_VERIFYHOST, false);

curl_set($ch, CURLOPT_RETURNTRANSFER, 1);

$this->html = curl_exec($ch);

curl_close($ch);

if (!empty($regArr)) {

$this->regArr = $regArr;

$this->regRange = $regRange;

$this->getList();

}

}

// 其他方法包括设置查询、获取列表、获取JSON等

function setQuery($regArr, $regRange = '') { ... }

private function getList() { ... }

function getJSON() { return json_encode($this->jsonArr); }

}

```

二、使用示例

--

假设你想采集OSChina的代码分享列表，包括标题、链接和作者。你可以这样做：

```php

// 引入QueryList类

require 'Query/QueryList.class.php';

// 设置页面URL、选择器数组和块选择器

$url = "

$reg = array(

"title" => array(".code_title a:eq(0)","text"),

"url" => array(".code_title a:eq(0)","href"),

"author" => array("img","title")

);

$rang = ".code_list li";

// 创建QueryList对象并获取数据

$hj = new QueryList($url, $reg, $rang);

$arr = $hj->jsonArr;

print_r($arr); // 输出采集的数据

```

如果你还想采集当前页面右侧的TOP40活跃贡献者的图像，并获取JSON数据，可以这样写：

```php

// 只设置新的选择器数组，然后获取JSON数据并输出

$reg = array("portrait" => array(".hot_ img","src"));

$hj->setQuery($reg);

$json = $hj->getJSON(); // 获取JSON数据字符串并输出图像数据。这样就可以方便地获取到所需的信息并以JSON格式呈现。有了这个采集类，你可以轻松地从各种网页中抽取所需的数据。是不是觉得它非常方便呢？现在你可以专注于你的主要任务——数据处理和分析，而无需担心如何从网页中提取信息。这个采集类的使用范围非常广泛，无论是数据采集还是网络爬虫项目，都能发挥出它的巨大潜力。让我们一起更多可能的应用场景吧！你可以根据实际需求进行扩展和优化，使其更好地满足你的需求。希望这个采集类能给你的工作带来便利和效率！现在，让我们开始使用这个强大的工具吧！注意：请在使用此类工具时遵守相关网站的爬虫政策和法律法规。在合法合规的前提下进行数据采集和分析。