太疯狂了38ddd(38DD等于)

The Sprint Burndown or the Iteration Burndown chart is a powerful tool t

 

分析网页意味着了解其结构现在，出现了一个问题，为什么它对刮网很重要？在本章中，让我们详细了解这一点网页分析网页分析非常重要，因为如果不进行分析，我们将无法知道提取后将以哪种形式从该网页接收数据（结构化或非结构化）。

我们可以通过以下方式进行网页分析-查看页面源这是通过检查源代码来了解网页结构的一种方式要实现此目的，我们需要右键单击该页面，然后必须选择“ 查看页面源”选项然后，我们将以HTML的形式从该网页获取我们感兴趣的数据。

但是主要的关注点是空格和格式化，这对我们来说很难格式化通过单击检查元素选项检查页面源这是分析网页的另一种方法但是不同之处在于它将解决网页源代码中的格式和空格问题您可以通过右键单击然后从菜单中选择“ 检查”

或“ 检查元素”选项来实现它将提供有关该网页的特定区域或元素的信息从网页提取数据的不同方法以下方法主要用于从网页提取数据-正则表达式它们是嵌入在Python中的高度专业化的编程语言我们可以通过Python的。

re模块来使用它也称为RE或正则表达式或正则表达式模式借助正则表达式，我们可以为要从数据中匹配的可能的字符串集指定一些规则如果您想了解一般的正则表达式的更多信息，请转到链接https://www.tutorialspoint.com/automata_theory/regular_expressions.htm，并且如果您想了解有关Python中的re模块或正则表达式的更多信息，可以按照以下说明进行操作该 链接。

https://www.tutorialspoint.com/python/python_reg_expressions.htm例在以下示例中，我们将在正则表达式的帮助下将的内容匹配之后，从http://example.webscraping.com刮取有关印度的数据 。

import re import urllib.request response = urllib.request.urlopen(http://example.webscraping.com/places/default/view/India-102)

html = response.read() text = html.decode() re.findall((.*?),text) 输出量相应的输出将如下所示-

[ , 3,287,590 square kilometres, 1,173,108,018, IN, India, New Delhi,

AS, .in, INR, Rupee, 91, ######, ^(\\d{6})$, enIN,hi,bn,te,mr,ta,ur,gu,kn,ml,or,pa,as,bh,sat,ks,ne,sd,kok,doi,mni,sit,sa,fr,lus,inc,

] 注意，在上面的输出中，您可以使用正则表达式查看有关印度国家/地区的详细信息beautifulsoup假设我们要从网页上收集所有超链接，那么我们可以使用一个名为BeautifulSoup的解析器，该解析器可以在。

https://www.crummy.com/software/BeautifulSoup/bs4/doc/中更详细地了解简而言之，BeautifulSoup是一个Python库，用于从HTML和XML文件中提取数据。

它可以与请求一起使用，因为它需要输入（文档或url）来创建汤对象，因为它本身无法获取网页您可以使用以下Python脚本来收集网页和超链接的标题beautifulsoup使用pip命令，我们可以在虚拟环境或全局安装中安装

beautifulsoup(base)D:\ProgramData>pip install bs4Collectingbs4Downloadinghttps://files.pythonhosted.org/packages/10/ed/7e8b97591f6f456174139ec089c769f89。

a94a1a4025fe967691de971f314/bs4-0.0.1.tar.gzRequirementalready satisfied: beautifulsoup4 in d:\programdata\lib\sitepackages

(frombs4) (4.6.0)Buildingwheels for collected packages: bs4Runningsetup.py bdist_wheel for bs4 ... done

Storedin directory:C:\Users\gaurav\AppData\Local\pip\Cache\wheels\a0\b0\b2\4f80b9456b87abedbc0bf2d52235414c3467d8889be38dd472

Successfullybuilt bs4Installingcollected packages: bs4Successfullyinstalled bs4-0.0.1请注意，在此示例中，我们扩展了上面的示例，该示例是使用requests python模块实现的。

我们正在使用r.text创建beautifulsoup对象，该对象将进一步用于获取详细信息，例如网页标题首先，我们需要导入必要的Python模块-import requests from bs4 import

BeautifulSoup 在下面的代码行中，我们使用请求通过发出GET请求来对URL进行GET HTTP请求：https : //authoraditiagarwal.com/r = requests.get(。

https://authoraditiagarwal.com/) 现在我们需要创建一个Soup对象，如下所示：soup = BeautifulSoup(r.text, lxml) print (soup.title)

print (soup.title.text) 输出量相应的输出将如下所示-Learn and Grow with Aditi Agarwal Learn and Grow with Aditi Agarwal

xml文件我们将要讨论的用于Web抓取的另一个Python库是lxml这是一个高性能的HTML和XML解析库它相对较快和直接您可以在https://lxml.de/上了解更多信息安装lxml使用pip命令，我们可以在虚拟环境或全局安装中安装。

lxml(base)D:\ProgramData>pip install lxmlCollectinglxmlDownloadinghttps://files.pythonhosted.org/packages/b9/55/bcc78c70e8ba30f51b5495eb0e。

3e949aa06e4a2de55b3de53dc9fa9653fa/lxml-4.2.5-cp36-cp36m-win_amd64.whl(3.6MB)100%|¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦¦| 3.6MB 64kB/s

Installingcollected packages: lxmlSuccessfullyinstalled lxml-4.2.5示例：使用lxml和请求提取数据在以下示例中，我们通过使用lxml和请求从

authoraditiagarwal.com抓取网页的特定元素-首先，我们需要从lxml库中导入请求和html，如下所示-import requests from lxml import html 现在我们需要提供要剪贴的网页网址

url = https://authoraditiagarwal.com/leadershipmanagement/现在我们需要提供该网页特定元素的路径（Xpath） -path = //*[@id="panel-836-0-0-1"

]/div/div/p[1] response = requests.get(url) byte_string = response.content source_code = html.fromstring(byte_string) tree = source_code.xpath(path) print(tree[0].text_content())

输出量相应的输出将如下所示-TheSprint Burndown or the Iteration Burndown chart is a powerful tool to communicatedaily

progress to the stakeholders. It tracks the completion of work for a given sprintoran iteration. The horizontal axis represents the days within a Sprint. The vertical

axisrepresents the hours remaining to complete the committed work.