url去重

大家好！今天让创意岭的小编来大家介绍下关于url去重的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

• 1、sql统计行数，但是需要去重中间的重复数据

• 2、如何用redis去重

• 3、请问sql高手distinct如何查询多条字段

• 4、sql 怎么根据条件进行去重

一、sql统计行数，但是需要去重中间的重复数据

userId: user id

url: url visited by the user

SELECT userId, COUNT(DISTINCT url)

FROM tab

GROUP BY userId

ORDER BY COUNT(DISTINCT url) DESC

扩展资料：

group by 解决重复数据的个数统计适用于各种关系型数据库,如oracle,SQL Server

查询重复的数据

select * from (select v.xh,count(v.xh) num from sms.vehicle v group by v.xh) where num>1;

select v.xh,count(v.xh) num from sms.vehicle v group by v.xh having count(v.xh)=2;

删除重复的数据

create table mayong as (select distinct* from sms.vehicle);

delete from sms.vehicle ;

insert into sms.vehicle select * from mayong;

在oracle中，有个隐藏了自动rowid，里面给每条记录一个唯一的rowid，如果想保留最新的一条记录，就可以利用这个字段，保留重复数据中rowid最大的一条记录就可以了。

下面是查询重复数据的一个例子：

select a.rowid,a.* from 表名 a

where a.rowid != (select max(b.rowid) from 表名 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 )

二、如何用redis去重

$key

=

'URL_HASH';

if(!$redis->hGet($key,

md5

($url))){

//

do

something

...

//

抓取一个

$url

后

$redis->hSet($key,

md5($url),

true);

}这里需要注意的是，如果是多线程的，要考虑其他进程，可以吧

bool

值改为枚举值。

三、请问sql高手distinct如何查询多条字段

你是说urlchoose有重复的，然后你想查urlchoose没有重复的，是这个意思吧。

我举个例子你就明白了。

urlchoose id content

aaa 1 111

aaa 1 222

aaa 2 111

bbb 2 222

你要的结果是什么？你对第一个去重，那么返回的结果应该是两行，aaa,bbb

可是后面两个字段怎么显示？所以应该还是4行。

因为后面的你没有操作，那么个人认为这个distinct相当于没有没有起到任何作用。而且没起到作用就要烧香了，万一是反作用，也就是先distinct处理url字段，然后跟后面的组成笛卡儿积（个人猜测，应该不太可能），那么数据量就不好说了。

distinct应该是自己单独出现，类似于group by 后面的那个字段，你想想在 group by的语句中，如果要显示其他字段，一般都需要聚合函数，是差不多一个道理。

看你想要什么，如果仅仅要去重的urlchoose字段，那么把后面两个字段从语句中去掉即可。

四、sql 怎么根据条件进行去重

userId: user id

url: url visited by the user

SELECT userId, COUNT(DISTINCT url)

FROM tab

GROUP BY userId

ORDER BY COUNT(DISTINCT url) DESC

以上就是关于url去重相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

ourpaypal官网（ourpay官方下载）

nature什么水平

nature杂志中文官网（世界三大权威科学杂志）

沈阳品质品牌策划怎么样(沈阳品质企业管理有限公司)

抖音货源网（抖音货源网址）