内容索引不再依赖爬行？

       在整个过程中，我认为有三大难点：内容，内部链接结构，外链构建。在这些结构中，网站内部链接结构就是要解决搜索引擎有 效爬升、抓取的难题，既要全 面、快速地抓取，又要避免不必要的内容被抓，还要合理地分配权力。站得越多，问题就越难完 美解决。作过大站一定深有体会，不管怎么调整网站结构，都不能做到网页百分之一百被索引。

       Bing这篇文章告诉，以后很可能就不用担心抓取的问题了，有了新的网页，或是旧网页有了更新，只需直接提交网址即可(通过网站工具或API)，无需依赖Bing蜘蛛爬行抓取，事实上，Bing蜘蛛可以很大地减少爬行而不影响索引的新内容。

       SearchEngineLand在Bing搜索工程师访谈中确认，减少爬升，的确是Bing的目标。在接下来的几年里，Bing将不再依赖爬虫去发现新的内容。Bing认为，对网站抓取的方法低效、浪费资源，不如站长直接提交内容。Bing说，提交URL是页面抓取的“非常有力”信号，要想对内容进行快速索引，就赶快使用提交工具。的确，大的站点，页面被抓取了一遍，可能要花费数周，或者更长时间，这时网站上出现了新网页，或者旧网页内容有了更新，要被抓取，或者要推迟数周。发送URL是一种快速的方式。

       事实上百度早在做类似的事情，在百度资源平台提交内容是快速抓取新网页的好办法，小时级收录的确可在数小时内收录，有时也可在几分钟内收录。但是百度资源平台提交看起来并不支持旧页面但是有新页面。

在行业的潜在影响。

       若Google随后继续采用这种方式，这将对产业造成不小的冲击。搜索引擎发现，抓取、编入新内容的方式变得更简单、更直接，调整网站结构的必要性和难度将大大降低。

       但是还有一些潜在的问题。比方说，黑帽子的显然不会错过这个机会。在此之前，通过爬行获取垃圾内容变得越来越困难，因为从一个页面爬到另一个页面就是识别、过滤的过程。大规模的主动提交垃圾网页之后，搜索引擎应该如何处理？

       再者，搜索引擎减少爬行，倒也省钱了，但是旧的、没有更新的页面被抓取的次数就会大大减少，这会不会造成链接关系计算的错误、不及时？顺带一提，不知为何总有人说链接对于排名已不再重要，其实仍然很重要。的基本方式在过去十多年里没有什么大的改变，但是仍然是一个不断变化的行业。