url地址怎么获取
关注:93 发布时间:2021-08-22 17:40:57
大黑客呢?我一定会自己写剧本,不要一个个敲命令。在这里,我简单地使用lynx命令的应用程序,提取出特征网页中的一系列url。
看,这是小编的编辑。还不错。这是一种美丽的颜色。小编很幸运能成为这位编辑。给小编加油。我会把源代码贴在文末!
我来说说这个剧本是怎么运作的
lynx将在显示页面时以比较佳格式显示页面文本,这可以遵循页面上的所有超文本引用或链接。提取链接时,脚本仅使用sed打印页面文本中引用字符串之后的所有内容。然后根据用户指定的选项处理链接列表。
以上只是我用linux写的一些代码,等等。我会发布源代码。不懂可以问我。从网页中提取链接其实很有用。
让我们运行我写的代码
看,从搜索网站上找到这么多链接,很有成就感!
bash getlinks . sh http://www.amazon.com | wcl
也可以统计一下有多少链接。亚马逊有134个链接。
bash getlinks . sh-d http ://www . baidu.com
通过删除前面的http://,您可以看到这些链接指向多少个不同的域。
你看,效果很好!
比较后我们做教育,希望每个人都能学到东西是我们不变的初衷!比较后,我先贴出代码:
#!/bin/bash
#日期2019-09-22
if[$ #-eq 0];然后
echo " usage : $ 0[-d |-i |-x]url " 2
echo "-d=仅域,-i=仅内部refs,-x=仅外部" 2
1号出口
船方不负担装货费用
if[$ #-gt 1];然后
案例" $1 "
-d)lastcmd=" cut-d/-f3 | sort | uniq "
变化
;
-r)base domain=" http://$(echo $ 2 | cut-d-f3)/"
lastcmd=" grep \"^$basedomain\ " | sed \ " s | $ base domain | | g \ " | sort | \
uniq "
变化
;
-a)base domain=" http://$(echo $ 2 | cut-d/-f3)/"
lastcmd=" grep-v \"^$basedomain\ " | sort | uniq "
变化
;
*) echo "$0未知选项指定了d : $ 1 " 2
1号出口
environmental systems applications center 环境系统应用程序中心
其他
lastcmd="sort | uniq "
船方不负担装货费用
lynx -dump "$1" | \
sed -n "/^references$/,$p" | \
grep -e "[[:digit:]] \ . "| \
awk“{ print $ 2 }”| \
cut -d\?-f1 |\
eval $lastcmd
退出0
猜你喜欢
-
假释是什么意思64人支持
假释是对被判处有期徒刑或者无期徒刑的罪犯,由于遵守监狱规定,接受教育改造,确有悔改表现,不致危害社会,经过一定刑期,提前有条件释放的制度。申请假释的条件: (一)法定对象,(二)法…
-
邻座的怪同学电影好看吗43人支持
由同名漫画改编的青春校园片《邻座的怪同学》于5月23日上映,由土屋太凤和菅田将晖主演。那么《邻座的怪同学》好看吗?我们来看看隔壁陌生同学的电影故事介绍。《邻座的怪同学…
-
基带坏了修理多少钱109人支持
有时候苹果x不服务了。现在来分享一些解决的小技巧吧!方法一:开启飞行模式,然后关闭有时候,因为手机周围的网络不好,信号会中断。这时,在我们打开飞行模式,然后关闭飞行模式后,系统…
-
淘宝买家号降权是什么意思3人支持
有多少买家知道?任何平台买家都有拒绝的权利,聊天记录中的骂人、威胁、说不正当的话将由卖家举报。异常交易的购买,以及反复出现的平台纠纷、中差评、账户信息相关账户违规等。…
-
qq群排名首页66人支持
想必大家都创建了qq,但是没有排名,最后也没有人放弃。它不活跃。今天,我教你如何让一个qq群活起来,让更多的人可以聊天,加入群。影响群体排名的因素和原则;第一点:集团层面抑制的重…
-
微信屏蔽小红书等外部链接15人支持
换句话说,八姐作为一个每天无忧无虑,百无聊赖,有八卦心的女人,经常刷热搜。当然,以前刷热搜的时候,其实是关注娱乐八卦的。毕竟技术圈的网圈上热搜的机会很小,除了离婚和被杀继承。…
-
解密:分期乐购物额度自己套78人支持
分期音乐的初始额度只能用于消费。但是随着发展,给了大家提现的机会。有些额度可以提取到绑定的银行卡,或者有些购物额度只能用于消费。在平台上购买商品,如电子产品、游戏卡、…
-
情人节文案朋友圈99人支持
因为平时喜欢华丽的文字和漂亮的文字,所以整理了一些文案,有些是自己原创的,希望对大家有帮助!1.牵着你的手,和你的儿子一起变老!2.但愿我能回首往事,深情白头!3.曾经沧海难为水,永远…
-
极兔速递是谁家的?66人支持
申通、童渊、大云出人意料的联手封杀极限兔快车。极限兔快递之初,是通达系的网络支撑其扩张,突破历史价格战抢占市场。为什么会出现这种现象?这就让人怀疑极限兔快递是个什么样…
-
射手座和双鱼座配不配89人支持
射手座和双鱼座相配。射手座是代表自由的星座。自由、乐观、热情、直率是他们的标签。他们特立独行,热爱自由,不愿意被规范和教条束缚。他们都想追求自己的思想和内心感受,无论…
-
微信群里怎么艾特所有人84人支持
[email?protected]最近微通信过热更新,群聊人人都可以用,群聊所有成员都会收到消息。仅针对组所有者和管理员微信官方账号留言多轮回复灰度测试:以前只支持读者和作者多轮互动,…
-
新手现在入行电商13人支持
分析:再过10年、20年,电商还会存在,少数人还在赚钱,大多数人还没赚钱。所以,在这个行业,不存在为时不晚的问题!不过电商确实过了红利期,现在是红海。就像三年前,刚开始做自媒体。当时…
热门十大品牌
- 2021年我国十大黄金品牌排行榜30999人
- 眼镜品牌十大排行榜前10名26357人
- 十大证券公司排行榜前10名23243人
- 2021年我国杂志排行榜前10名20054人
- 我国十大杂志排行榜前10名16358人
- 2021我国十个宜居城市排行榜前11487人
- 男士裤子品牌十大排行榜前10名11186人
- 2021十大火热电脑游戏排行榜前11057人
- 十大卫生巾品牌排行榜前十名8848人
- 我国十大袜子品牌排行榜前十名8369人