分析电子商务商品属性的获得

为了完成小型爬虫项目，不使用平台提供的API，本文仔细分析了中国着名电子商务网站商品属性的获取思路和方法，并记录和分享了交流。

为了获取静态页面部分的内容，您需要使用firefox开发人员函数禁用javascript，如图

选中“禁用JavaScript”。刷新页面后可见。可以通过静态页面获得标题，项目ID，类别编号，项目URL，图片URL等。可以使用正则表达式或xpath等工具直接进行分析，此处不再赘述。

该站点的大多数产品属性都是通过ajax动态获得的。还是通过浏览器来分析。取消选中“禁用JavaScript”后，使用“网络”工具捕获并分类服务器响应的数据包。要在重复重新加载页面时避免缓存的影响，请选中“禁用缓存”选项。首先打开“网络”界面，然后刷新页面以获取加载过程的捕获内容。 ajax请求返回的数据类型为json或js。

例如：一个json数据，url是

响应内容可以在网络工具箱中查看为

在比较页面内容后，发现p字段是商品价格数据！

直接打开链接获取json字符串

此响应的回调函数名称为“cnp”，并观察到url中也存在相同的字段。遂尝试删除URL中的字段并重新请求

得到json：

继续尝试删除请求中的get参数，最后找到它可用

正常获取相同的数据。

Python解析代码：

获取价格数据以促进自动生成。通过静态内容无法获得的其余属性可以通过类比分析获得。

随商信息技术（上海）有限公司 b2b2c多用户商城系统是基于PHP技术的企业级电子商务平台系统，系统支持平台自营、招商加盟和多商家入驻、集成微信商城、移动端APP商城、微信小程序于一体。公司主营业务包含商城系统定制开发、新零售系统解决方案、电商平台系统定制开发、商城网站建设服务等等，随商为大、中、小企业提供一个安全、高效、强大的电子商务解决方案，协助企业快速构建、部署和管理其电子商务平台，拓展企业销售渠道，致力于推动PHP技术和电子商务行业的发展而不断努力。