首页 > 图灵资讯 > 技术篇>正文
如何在爬取页面中嵌套的图片验证码时获取到图片内容?
2024-10-31 14:35:02
爬取页面中嵌套的图片验证码
在爬取图片验证码时,我们通常会直接抓取图片的url,然后保存本地。然而,有时我们会遇到这种情况,图片验证码并不会直接展示在页面上,而是通过其他方式加载。
如题中的例子所示,验证码通过一个单独的url进行加载,该url地址中包含了图片的日期信息。如何才能成功抓取到这种情况下的图片验证码呢?
这个问题可以用http请求头解决,通过带上网站的cookie信息,我们可以直接访问到jfif的返回内容,再将该二进制文件存入本地即可识别为图片。
在代码中,我们首先构造一个http请求,并在请求头中带上cookie信息,然后使用该请求发送至图片验证码url。最后,将获取到的二进制内容存入本地即可。
在java中实现代码大致如下:
URL url = new URL("http://jx.189.cn/public/v4/common/control/page/image.jsp?date=Wed%20May%2029%202019%2010:26:32%20GMT+0800%20(%E4%B8%AD%E5%9B%BD%E6%A0%87%E5%87%86%E6%97%B6%E9%97%B4)"); HttpURLConnection conn = (HttpURLConnection) url.openConnection(); conn.setRequestProperty("Cookie", "YOUR_COOKIE_HERE"); conn.connect(); InputStream is = conn.getInputStream(); FileOutputStream os = new FileOutputStream("captcha.jpg"); byte[] buffer = new byte[1024]; int len; while ((len = is.read(buffer)) > 0) { os.write(buffer, 0, len); } os.close(); is.close();
执行这段代码即可成功获取到图片验证码,并将其保存为本地文件。
以上就是如何在爬取页面中嵌套的图片验证码时获取到图片内容?的详细内容,更多请关注图灵教育其它相关文章!