当前位置:首页 > 行业知识 > 综合

url地址怎么获取

关注:93 发布时间:2021-08-22 17:40:57

大黑客呢?我一定会自己写剧本,不要一个个敲命令。在这里,我简单地使用lynx命令的应用程序,提取出特征网页中的一系列url。

看,这是小编的编辑。还不错。这是一种美丽的颜色。小编很幸运能成为这位编辑。给小编加油。我会把源代码贴在文末!

我来说说这个剧本是怎么运作的

lynx将在显示页面时以比较佳格式显示页面文本,这可以遵循页面上的所有超文本引用或链接。提取链接时,脚本仅使用sed打印页面文本中引用字符串之后的所有内容。然后根据用户指定的选项处理链接列表。

以上只是我用linux写的一些代码,等等。我会发布源代码。不懂可以问我。从网页中提取链接其实很有用。

让我们运行我写的代码

看,从搜索网站上找到这么多链接,很有成就感!

bash getlinks . sh http://www.amazon.com | wcl

也可以统计一下有多少链接。亚马逊有134个链接。

bash getlinks . sh-d http ://www . baidu.com

通过删除前面的http://,您可以看到这些链接指向多少个不同的域。

你看,效果很好!

比较后我们做教育,希望每个人都能学到东西是我们不变的初衷!比较后,我先贴出代码:

#!/bin/bash

#日期2019-09-22

if[$ #-eq 0];然后

echo " usage : $ 0[-d |-i |-x]url " 2

echo "-d=仅域,-i=仅内部refs,-x=仅外部" 2

1号出口

船方不负担装货费用

if[$ #-gt 1];然后

案例" $1 "

-d)lastcmd=" cut-d/-f3 | sort | uniq "

变化

-r)base domain=" http://$(echo $ 2 | cut-d-f3)/"

lastcmd=" grep \"^$basedomain\ " | sed \ " s | $ base domain | | g \ " | sort | \

uniq "

变化

-a)base domain=" http://$(echo $ 2 | cut-d/-f3)/"

lastcmd=" grep-v \"^$basedomain\ " | sort | uniq "

变化

*) echo "$0未知选项指定了d : $ 1 " 2

1号出口

environmental systems applications center 环境系统应用程序中心

其他

lastcmd="sort | uniq "

船方不负担装货费用

lynx -dump "$1" | \

sed -n "/^references$/,$p" | \

grep -e "[[:digit:]] \ . "| \

awk“{ print $ 2 }”| \

cut -d\?-f1 |\

eval $lastcmd

退出0

猜你喜欢

  • 假释是什么意思

    假释是什么意思64人支持

    假释是对被判处有期徒刑或者无期徒刑的罪犯,由于遵守监狱规定,接受教育改造,确有悔改表现,不致危害社会,经过一定刑期,提前有条件释放的制度。申请假释的条件: (一)法定对象,(二)法…

  • 邻座的怪同学电影好看吗

    邻座的怪同学电影好看吗43人支持

    由同名漫画改编的青春校园片《邻座的怪同学》于5月23日上映,由土屋太凤和菅田将晖主演。那么《邻座的怪同学》好看吗?我们来看看隔壁陌生同学的电影故事介绍。《邻座的怪同学…

  • 基带坏了修理多少钱

    基带坏了修理多少钱109人支持

    有时候苹果x不服务了。现在来分享一些解决的小技巧吧!方法一:开启飞行模式,然后关闭有时候,因为手机周围的网络不好,信号会中断。这时,在我们打开飞行模式,然后关闭飞行模式后,系统…

  • 淘宝买家号降权是什么意思

    淘宝买家号降权是什么意思3人支持

    有多少买家知道?任何平台买家都有拒绝的权利,聊天记录中的骂人、威胁、说不正当的话将由卖家举报。异常交易的购买,以及反复出现的平台纠纷、中差评、账户信息相关账户违规等。…

  • qq群排名首页

    qq群排名首页66人支持

    想必大家都创建了qq,但是没有排名,最后也没有人放弃。它不活跃。今天,我教你如何让一个qq群活起来,让更多的人可以聊天,加入群。影响群体排名的因素和原则;第一点:集团层面抑制的重…

  • 微信屏蔽小红书等外部链接

    微信屏蔽小红书等外部链接15人支持

    换句话说,八姐作为一个每天无忧无虑,百无聊赖,有八卦心的女人,经常刷热搜。当然,以前刷热搜的时候,其实是关注娱乐八卦的。毕竟技术圈的网圈上热搜的机会很小,除了离婚和被杀继承。…

  • 解密:分期乐购物额度自己套

    解密:分期乐购物额度自己套78人支持

    分期音乐的初始额度只能用于消费。但是随着发展,给了大家提现的机会。有些额度可以提取到绑定的银行卡,或者有些购物额度只能用于消费。在平台上购买商品,如电子产品、游戏卡、…

  • 情人节文案朋友圈

    情人节文案朋友圈99人支持

    因为平时喜欢华丽的文字和漂亮的文字,所以整理了一些文案,有些是自己原创的,希望对大家有帮助!1.牵着你的手,和你的儿子一起变老!2.但愿我能回首往事,深情白头!3.曾经沧海难为水,永远…

  • 极兔速递是谁家的?

    极兔速递是谁家的?66人支持

    申通、童渊、大云出人意料的联手封杀极限兔快车。极限兔快递之初,是通达系的网络支撑其扩张,突破历史价格战抢占市场。为什么会出现这种现象?这就让人怀疑极限兔快递是个什么样…

  • 射手座和双鱼座配不配

    射手座和双鱼座配不配89人支持

    射手座和双鱼座相配。射手座是代表自由的星座。自由、乐观、热情、直率是他们的标签。他们特立独行,热爱自由,不愿意被规范和教条束缚。他们都想追求自己的思想和内心感受,无论…

  • 微信群里怎么艾特所有人

    微信群里怎么艾特所有人84人支持

    [email?protected]最近微通信过热更新,群聊人人都可以用,群聊所有成员都会收到消息。仅针对组所有者和管理员微信官方账号留言多轮回复灰度测试:以前只支持读者和作者多轮互动,…

  • 新手现在入行电商

    新手现在入行电商13人支持

    分析:再过10年、20年,电商还会存在,少数人还在赚钱,大多数人还没赚钱。所以,在这个行业,不存在为时不晚的问题!不过电商确实过了红利期,现在是红海。就像三年前,刚开始做自媒体。当时…