备案控制台
开发者社区 安全 文章 正文

构建网络下载器：Wt库指南让您轻松获取豆瓣网的美图

2024-02-28 31
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Wt（Web Toolkit）是一个用C编写的开源库，它可以让您使用C开发Web应用程序。Wt提供了一套丰富的组件，包括窗口、按钮、表单、图表、布局等，让您可以像使用GUI库一样，使用C++构建Web界面。除了提供Web界面的组件，Wt还提供了一个网络模块，它可以让您使用C++进行网络编程，包括HTTP请求、响应、会话、Cookie等。这个网络模块非常适合用来开发网络爬虫，因为它可以让您方便地发送HTTP请求，获取网页的内容，解析HTML，提取所需的数据，保存到本地或数据库等。

16YUN.jpg

一、什么是Wt库？

Wt（Web Toolkit）是一个用C编写的开源库，它可以让您使用C开发Web应用程序。Wt提供了一套丰富的组件，包括窗口、按钮、表单、图表、布局等，让您可以像使用GUI库一样，使用C++构建Web界面。

除了提供Web界面的组件，Wt还提供了一个网络模块，它可以让您使用C++进行网络编程，包括HTTP请求、响应、会话、Cookie等。这个网络模块非常适合用来开发网络爬虫，因为它可以让您方便地发送HTTP请求，获取网页的内容，解析HTML，提取所需的数据，保存到本地或数据库等。

二、为什么要使用Wt库？

Wt库有以下几个优点，使得它成为开发网络爬虫的一个好选择：

  • 跨平台，Wt库可以在Windows、Linux、MacOS等多种操作系统上运行，无需修改代码。
  • 高效，Wt库使用C++编写，性能优越，可以处理大量的网络请求和数据。
  • 易用，Wt库提供了简洁的API，让您可以使用熟悉的C++语法，快速地开发网络爬虫。
  • 灵活，Wt库支持多种网络协议，如HTTP、HTTPS、WebSocket等，可以应对不同的网络环境。
  • 安全，Wt库支持SSL加密，可以保护您的网络通信的安全。
  • 扩展，Wt库可以与其他的库或框架结合，如Boost、Qt、OpenCV等，提供更多的功能和特性。

三、如何使用Wt库？

要使用Wt库，您需要先下载并安装Wt库，然后在您的项目中引入Wt的头文件，链接Wt的库文件，就可以开始使用Wt的网络模块了。

下面，我们将以一个简单的示例来演示如何使用Wt库，构建一个网络下载器，从豆瓣网上下载美图。

1. 引入头文件

首先，我们需要引入Wt的网络模块的头文件，以及一些标准库的头文件，如下所示：

// 引入Wt的网络模块的头文件
#include <Wt/Http/Client.h>
#include <Wt/Http/Message.h>
#include <Wt/Http/Response.h>
#include <Wt/Http/Request.h>

// 引入一些标准库的头文件
#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <thread>
#include <mutex>

2. 定义常量和变量

接下来，我们需要定义一些常量和变量，用来存储我们的目标网址、爬虫代理服务器的信息、图片的保存路径等，如下所示：

// 定义目标网址，我们将从豆瓣网的美女图片专辑中下载图片
const std::string target_url = "https://www.douban.com/photos/album/1797294052/";

// 定义爬虫代理服务器的信息，我们将使用亿牛云爬虫代理标准版的域名、端口、用户名、密码
const std::string proxy_host = "http://www.16yun.cn";
const int proxy_port = 9010;
const std::string proxy_user = "16YUN";
const std::string proxy_pass = "16IP";

// 定义图片的保存路径，我们将把图片保存到当前目录下的images文件夹中
const std::string image_path = "./images/";

// 定义一个向量，用来存储图片的网址
std::vector<std::string> image_urls;

// 定义一个互斥锁，用来保证多线程的安全
std::mutex mtx;

3. 创建客户端对象

然后，我们需要创建一个Wt::Http::Client的对象，用来发送HTTP请求，获取网页或图片的内容，如下所示：

// 创建一个Wt::Http::Client的对象，命名为client
Wt::Http::Client client;

// 设置客户端的超时时间为10秒，如果超过10秒没有收到响应，就放弃请求
client.setTimeout(10);

// 设置客户端的最大重定向次数为3次，如果超过3次重定向，就放弃请求
client.setMaximumRedirects(3);

// 设置客户端的爬虫代理服务器的信息，使用上面定义的爬虫代理的域名、端口、用户名、密码
client.setProxy(proxy_host, proxy_port, proxy_user, proxy_pass);

4. 定义回调函数

接下来，我们需要定义一个回调函数，用来处理客户端收到的响应，如下所示：

// 定义一个回调函数，命名为handle_response
// 该函数接受两个参数，一个是客户端对象的引用，一个是响应对象的指针
void handle_response(Wt::Http::Client& client, const Wt::Http::Message* response) {
   
   
    // 判断响应是否为空，如果为空，说明请求失败，打印错误信息，返回
    if (!response) {
   
   
        std::cerr << "Request failed: " << client.error() << std::endl;
        return;
    }

    // 判断响应的状态码是否为200，如果不是200，说明请求失败，打印错误信息，返回
    if (response->status() != 200) {
   
   
        std::cerr << "Request failed: " << response->status() << " " << response->statusText() << std::endl;
        return;
    }

    // 获取响应的内容类型，判断是否为text/html，如果是，说明请求的是网页，需要解析网页，提取图片的网址
    if (response->contentType() == "text/html") {
   
   
        // 获取响应的正文，转换为字符串
        std::string html = response->body();

        // 定义一个正则表达式，用来匹配图片的网址，图片的网址的格式为https://img9.doubanio.com/view/photo/l/public/pxxxxxxx.jpg
        std::regex regex("https://img9.doubanio.com/view/photo/l/public/p\\d+\\.jpg");

        // 定义一个正则迭代器，用来遍历网页中所有匹配的图片的网址
        std::sregex_iterator iter(html.begin(), html.end(), regex);
        std::sregex_iterator end;

        // 遍历所有匹配的图片的网址
        while (iter != end) {
   
   
            // 获取当前匹配的图片的网址，转换为字符串
            std::string image_url = iter->str();

            // 上锁，保证多线程的安全
            mtx.lock();

            // 把图片的网址添加到向量中
            image_urls.push_back(image_url);

            // 解锁，释放资源
            mtx.unlock();

            // 打印图片的网址，方便调试
            std::cout << "Image URL: " << image_url << std::endl;

            // 迭代器自增，继续下一个匹配
            iter++;
        }
    }

    // 获取响应的内容类型，判断是否为image/jpeg，如果是，说明请求的是图片，需要保存图片到本地
    if (response->contentType() == "image/jpeg") {
   
   
        // 获取响应的正文，转换为二进制数据
        std::vector<char> data = response->body();
        // 获取请求的URL地址，转换为字符串
        std::string url = response->request().url();
        // 从URL地址中提取图片的文件名，例如p123456789.jpg
        std::string filename = url.substr(url.find_last_of('/') + 1);
        // 拼接图片的保存路径，例如./images/p123456789.jpg
        std::string save_path = image_path + filename;
        // 创建一个文件流对象，用来写入图片数据
        std::ofstream file(save_path, std::ios::binary);

        // 判断文件流是否打开成功，如果失败，打印错误信息，返回
        if (!file.is_open()) {
   
   
            std::cerr << "File open failed: " << save_path << std::endl;
            return;
        }

        // 将二进制数据写入到文件中
        file.write(data.data(), data.size());
        // 关闭文件流
        file.close();
        // 打印图片的保存路径，方便调试
        std::cout << "Image saved: " << save_path << std::endl;
    } else {
   
   
        // 其他情况，暂不处理，打印响应的内容类型，方便调试
        std::cout << "Content type: " << response->contentType() << std::endl;
    }
}

5. 定义多线程函数

最后，我们需要定义一个多线程函数，用来在多个线程中发送HTTP请求，获取网页或图片的内容，如下所示：

// 定义一个多线程函数，命名为download
// 该函数接受两个参数，一个是客户端对象的引用，一个是URL地址的字符串
void download(Wt::Http::Client& client, const std::string& url) {
   
   
    // 创建一个HTTP请求对象，设置请求的URL地址
    Wt::Http::Request request(url);

    // 设置请求的方法为GET
    request.setMethod("GET");

    // 设置请求的头部，添加User-Agent字段，模拟浏览器访问
    request.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36");

    // 发送HTTP请求，并将回调函数作为参数传递
    client.send(request, std::bind(handle_response, std::ref(client), std::placeholders::_1));
}

四、运行结果

我们将上面的代码保存为main.cpp，然后使用以下命令编译和运行：

g++ main.cpp -o main -lwt -lwthttp -lpthread
./main

运行结果如下：

Initializing...
Initialization complete
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998334.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998333.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998332.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998331.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998330.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998329.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998328.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998327.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998326.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998325.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998324.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998323.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998322.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998321.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998320.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998319.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998318.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998317.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998316.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998315.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998314.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998313.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998312.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998311.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998310.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998309.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998308.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998307.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998306.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998305.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998304.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998303.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998302.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998301.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998300.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998299.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998298.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998297.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998296.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998295.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998294.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998293.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998292.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998291.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998290.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998289.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998288.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998287.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998286.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998285.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998284.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998283.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998282.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998281.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998280.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998279.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998278.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998277.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998276.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998275.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998274.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998273.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998272.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998271.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998270.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998269.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998268.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998267.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998266.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998265.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998264.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998263.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998262.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998261.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998260.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998259.jpg
Image URL: https://img9.doubanio.com/view

五、参考资料

  • Wt 官方网站：提供了 Wt 库的下载、安装、文档、示例、论坛等资源。
  • [《C++ 网络编程》]：一本介绍如何使用 C++ 进行网络编程的书籍，涵盖了网络基础、套接字、TCP/IP、UDP、HTTP、FTP、SMTP、SSL 等协议和技术。
  • [《C++ 并发编程实战》]：一本介绍如何使用 C++ 进行并发编程的书籍，涵盖了线程管理、同步原语、锁、条件变量、原子操作、内存模型、并行算法等内容。
  • [《C++ Primer Plus》]：一本经典的 C++ 入门教程，系统地讲解了 C++ 的基础知识、语法、特性、标准库等内容。
  • [《Effective C++》]：一本提高 C++ 编程水平的书籍，包含了 55 条实用的建议，涉及到 C++ 的各个方面，如对象管理、函数、继承、泛型、异常等。
文章标签：
C++
数据采集
网络安全
网络协议
安全
关键词：
构建网络
网络构建
网络库
构建网络库
网络豆瓣
奔跑的数据
目录
相关文章
历年考试不作弊
|
1天前
|
存储 安全 网络安全
云端防御：构建弹性云计算环境中的网络安全体系
【5月更文挑战第19天】 在当今数字化时代，随着企业逐渐迁移至云计算平台，数据和服务的安全性变得至关重要。本文深入探讨了如何在弹性云计算环境中构建一个坚固的网络安全体系。首先，文中概述了云服务的基本类型及其安全挑战；随后，详细分析了当前网络威胁的面貌以及它们如何影响云服务；最后，提出了一套综合性策略，旨在增强身份认证、数据加密、入侵检测及事件响应等方面的能力，确保云服务的信息安全。
历年考试不作弊
10 2
东方睿赢
|
2天前
|
网络协议 Python
Python 网络编程实战：构建高效的网络应用
【5月更文挑战第18天】Python在数字化时代成为构建网络应用的热门语言，因其简洁的语法和强大功能。本文介绍了网络编程基础知识，包括TCP和UDP套接字，强调异步编程、数据压缩和连接池的关键作用。提供了一个简单的TCP服务器和客户端代码示例，并提及优化与改进方向，鼓励读者通过实践提升网络应用性能。
东方睿赢
19 6
yunqingjishu
|
3天前
|
监控 安全 数据安全/隐私保护
企业组网：构建智慧型网络基础设施，驱动未来商业发
随着数字化进程，企业组网演变为创新与竞争力的关键。智慧型网络基础设施助力企业内部协作效率提升，外部市场拓展及应对未来挑战。核心要素包括前瞻网络架构、高性能硬件、智能化软件和全面安全。实施策略涉及明确需求、制定方案、精细化实施、全面测试及持续优化，确保网络稳定、高效、安全。
yunqingjishu
11 3
企业组网：构建智慧型网络基础设施，驱动未来商业发
肥猪肥猪-17824
|
3天前
|
监控 安全 网络安全
构建安全防线：云计算环境下的网络安全策略
【5月更文挑战第17天】随着企业数字化转型步伐的加快，云计算已成为支撑现代业务架构的关键基石。然而，云服务的广泛应用同时带来了前所未有的安全挑战。本文旨在探讨云计算环境中的网络安全问题，并提出一系列创新的安全策略，以保障数据完整性、确保服务可用性并抵御网络威胁。我们将深入分析云服务模型（IaaS, PaaS, SaaS）与相应的安全考量，探讨加密技术、身份认证、访问控制以及入侵检测等关键技术在云环境中的应用，并讨论如何通过多层次防御策略和持续监控来强化整体安全性。
肥猪肥猪-17824
11 1
游客qf4jmczx4xu2y
|
5天前
|
SQL 安全 网络安全
构建安全防线：云计算环境中的网络安全策略与实践
【5月更文挑战第14天】 随着企业逐渐将关键业务流程迁移到云端，云计算服务的安全性成为不容忽视的重要议题。本文深入探讨了在动态且复杂的云环境中实施有效的网络安全措施的策略和技术。通过分析当前云计算模型中的安全挑战，我们提出了一系列创新的安全框架和防御机制，旨在保护数据完整性、确保业务连续性并抵御不断演变的网络威胁。文中不仅涵盖了理论分析和案例研究，还对未来云计算安全技术的发展趋势进行了预测。
游客qf4jmczx4xu2y
6 2
ZShiJ
|
5天前
|
域名解析 网络协议 网络虚拟化
【计算机网络】—— 中小型网络构建与配置
【计算机网络】—— 中小型网络构建与配置
ZShiJ
6 0
请看我回答~
|
5天前
|
SQL 安全 算法
数字堡垒的构建者：网络安全与信息安全的深层剖析
【5月更文挑战第12天】在信息技术迅猛发展的今天，网络空间已成为信息交流的重要平台。然而，随之而来的是各种网络安全漏洞和威胁的增多。本文深入探讨了网络安全漏洞的类型、成因以及预防措施，并详细分析了加密技术在保障信息安全中的应用。文章还强调了提升个人和企业安全意识的重要性，并分享了如何通过教育和培训来增强这一意识。通过对这些关键方面的知识分享，旨在为读者提供一个全面的网络安全与信息安全视角。
请看我回答~
12 2
龙蜥社区（OpenAnolis）
|
3天前
|
运维 监控 网络协议
高性能网络SIG月度动态：两大特性合入 Linux 主线，提供高速本地通信加速及丰富的设备信息
高性能网络SIG月度动态送达。
龙蜥社区（OpenAnolis）
14 2
老板这功能得加钱
|
3天前
|
运维 网络协议 Linux
Docker网络_docker 网络，来看看这份超全面的《Linux运维面试题及解析》
Docker网络_docker 网络，来看看这份超全面的《Linux运维面试题及解析》
老板这功能得加钱
8 0
热爱嵌入式的小佳同学
|
5天前
|
网络协议 Linux 网络架构
Linux网络编程 网络基础知识
Linux网络编程 网络基础知识
热爱嵌入式的小佳同学
16 0
Linux网络编程 网络基础知识

热门文章

最新文章

  • 1
    R语言用加性多元线性回归、随机森林、弹性网络模型预测鲍鱼年龄和可视化
  • 2
    存储架构深度解析：直连存储（DAS）、存储区域网络（SAN）与网络附加存储（NAS）的区别
  • 3
    linux查看CPU、内存、网络、磁盘IO命令
  • 4
    网络面试题
  • 5
    【CVPR轻量级网络】- 追求更高的FLOPS(FasterNet)
  • 6
    SDN（软件定义网络）——重塑网络架构的新视角
  • 7
    用加性多元线性回归、随机森林、弹性网络模型预测鲍鱼年龄和可视化（一）
  • 8
    ＜ 今日份知识点：web常见的攻击方式（网络攻击）有哪些？如何预防？如何防御呢 ？ ＞
  • 9
    Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
  • 10
    《计算机网络简易速速上手小册》第6章：网络性能优化（2024 最新版）
  • 1
    网络技术基础（16）——DHCP中继
    43
  • 2
    网络技术基础（15）——DHCP简介与配置
    90
  • 3
    网络技术基础（14）——ACL访问控制列表
    396
  • 4
    P2P网络下分布式文件共享场景的测试
    124
  • 5
    【spring（六）】WebSocket网络传输协议
    36
  • 6
    C/C++网络编程基础知识超详细讲解第三部分（系统性学习day13）
    34
  • 7
    C/C++网络编程基础知识超详细讲解第二部分（系统性学习day12）
    24
  • 8
    C/C++网络编程基础知识超详细讲解第一部分（系统性学习day11）
    49
  • 9
    网络安全产品之认识蜜罐
    36
  • 10
    基于深度学习的网络异常检测与自动化响应系统设计与实现
    64

    • 相关课程

    更多
  • TCP/IP 网络基础
  • 云计算工程师解析与实战-网络专家篇（体验版）
  • 云网络白皮书-阿里云网络系列课
  • 企业上云攻略-阿里云网络产品应用系列教程
  • Linux网络进阶 - TCP/IP协议及OSI七层模型
  • 网络管理者必知-2分钟了解新出台的《网络安全法》

    • 相关电子书

    更多
  • 可编程网络视角的网络创新研究
  • 可编程网络和SDN3.0
  • 开放促进创新：构建开放网络生态

    • 相关实验场景

    更多
  • 函数计算部署AI艺术字应用，生成新春文字头像
  • 免费撸A10显卡！在PAI-DSW里用FaceChain训练专属形象照
  • 基于 ACK Serverless 解锁你家萌宠的 AI 形象
  • Github实时数据分析与可视化
  • 容器的网络入门
  • 容器的自定义网络
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考
    http://www.vxiaotou.com