搜索推荐算法(搜索推荐算法要学什么)
大家好!今天让创意岭的小编来大家介绍下关于搜索推荐算法的问题,以下是小编对此问题的归纳整理,让我们一起来看看吧。
开始之前先推荐一个非常厉害的Ai人工智能工具,一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等
只需要输入关键词,就能返回你想要的内容,越精准,写出的就越详细,有微信小程序端、在线网页版、PC客户端
创意岭作为行业内优秀企业,服务客户遍布全国,网络营销相关业务请拨打175-8598-2043,或微信:1454722008
本文目录:
一、代码合规系列Vol.1:浅谈推荐算法合规
前言:
豆瓣评分曾达到9.4的科幻神剧《西部世界》,收获了无数粉丝的膝盖。在《西部世界》中,通过编程实现的人工智能,人们体验着由代码打造的虚拟现实世界。而在 游戏 《我的世界》里,人们也可以通过编程来打造属于自己的世界。曾有人预言,未来的世界是软件的世界,是代码的世界。我们无法预知未来,但是活在当下明显感觉到代码正在深刻改变我们的生活、改造现实世界。但代码又似乎与我们的生活不直接相关,它是一种由字符、符号或信号码元以离散形式表示信息的明确的规则体系,并非自然语言,普通人不可直接读懂。目前的代码世界尚处于早期野蛮生长时代,代码难以约束,相关的 社会 规范几乎不存在,仿佛游离于 社会 规范之外,拒绝接受法律的约束和道德的审视。但是最近几年文明之光开始显现,代码合规开始进入大家的视线,大家开始讨论算法合规、开源代码合规等前沿话题。敲过几年代码、学过几年法律、正在做企业合规的笔者,有意加入代码合规的讨论中来,开通代码合规这个栏目,分享自己的合规心得。
我们常说代码的灵魂是算法,因为代码的核心在于算法。算法是对解题方案的准确而完整的描述,是一系列解决问题的清晰指令。形象比喻,如果把算法理解为一种思路,那代码就是算法(思路)的具体表现形式。所以我们常说防止代码泄露,实则是保护自己的核心算法思路不给他人所知。2021年8月27日,国家互联网信息办公室发布《互联网信息服务算法推荐管理规定》(征求意见稿)发布,该规定旨在规范互联网信息服务算法推荐活动,维护国家安全和 社会 公共利益,保护公民、法人和其他组织的合法权益,促进互联网信息服务 健康 发展。代码合规的系列Vol.1将围绕该算法推荐管理规定进行解析讨论。
一、推荐算法的介绍
推荐算法是指利用用户的一些行为,通过一些算法,推测出用户可能喜欢的东西。它作为算法中的一种,源于个性化推荐,经过多年的理论研究和商业实践,已经被越来越多的互联网企业所运用到用户推荐场景中。截止目前推荐算法已经延伸出生成合成类(图片视频生成)、个性化推送类(推荐)、排序精选类(排名)、检索过滤类(搜索)、调度决策类(外卖、打车)等。举例来说,我们在天猫上购物,经常会被推送一些我们之前浏览过的同类型产品,这里面就是用到了推荐算法,属于个性化推送类。
笔者曾在本科期间,参加过阿里举办的首届天猫大数据算法竞赛,竞赛的内容是关于推荐算法的研究开发。基于天猫用户的数据(匿名化处理)—数据内容主要是一定时间内用户购买产品的时间、次数、产品相似度等用户行为—运用基于内容、协同过滤、关联规则等推荐算法对用户行为进行分析,预测下一个时段用户的行为,对比实际数据得出相似度,以相似度高低决定算法优良。经过几年的发展,推荐算法在商业实践中的运用已经变得十分广泛,但是也因此给我们的生活带来了许多困扰,出现如数据杀熟、隐私保护等问题。这次国家推出对推荐算法的监管规定,是十分及时和必要的。企业要想继续进行推荐算法的研究和实践,就必须要满足国家对于推荐算法的规定。因此笔者基于《互联网信息服务算法推荐管理规定》(征求意见稿),多维度谈谈企业的算法合规义务和合规化建议。
二、算法服务提供者的合规义务
合规,是比合法更大范围的存在,即符合、遵守、执行适用于企业的合规规范。这里所说的合规规范按照国内外出台的标准、办法和指引,可以总结为外部合规规范和内部合规规范。其中外部合规规范可以理解为合规要求,包括但不限于法律规范、行业准则、商业惯例、法院判决以及行政决定、强制性标准、道德规范等。内部合规规范可以理解为合规承诺,主要是指合同协议、行业自律性规则、非强制性标准、对外承诺、章程以及内部规章和各项决议等。所以对于合规工作来说,首要的就是要收集合规规范,从中识别出合规义务。本文立足于《互联网信息服务算法推荐管理规定》(征求意见稿),识别出具体的合规义务,分别从强制性义务、禁止性义务、原则性义务进行展开,如下表所示。
上表所示,可以较为清晰的区分算法合规义务。我们发现,强制性义务几乎占据了大半,大部分的条款都是企业应当履行的合规义务。
三、推荐算法的合规化建议
从概念上说,合规可以理解为一种理想状态,或者说是最终目标。在通往合规的道路上,我们需要做的是将“外规内化”。上述表格总结的企业合规义务更像是粗糙的条文堆砌,我们还需要将具体的合规义务进一步内化于企业的内部管理行为中。结合我们团队在企业合规管理体系的搭建上的实践经验,我认为可以从合规管理制度、合规运行和保障机制角度提出我们的合规化建议。
可能上述视角过于专业化,也有点复杂化。如果从技术人员的角度看,可以从前端和后端的视角来解析具体的合规义务:
上述两个视角,可能对合规义务有了些许的了解,但是对于企业来说,合规义务需要嵌入到公司的制度中去才算是完成了制度层面的建设工作,这是个繁琐和专业的事情。同时制度层面完成后,要落实制度就需要让员工懂法知规,这就需要对员工进行必要的合规培训工作,这里面就涉及对于治理层、经理层、员工层不同的培训要求。所以对于企业合规化建设,比较省力和经济的方式就是引入第三方专业机构,帮助企业去做合规化建设,帮助组建企业内部的合规团队,指导合规团队去做具体的合规化建设工作,授人以渔。
二、推荐算法模型原则~运营推广
网店运营:推荐算法建模原理。
直通车,手淘搜索,手淘首页推荐两个核心原则:第一,标签匹配度高优先,第二,权重高优先。
标签匹配,有顾客标签和宝贝标签,顾客标签包括浏览痕迹和购买记录,有些顾客标签比较模糊。婴儿标签包括成交记录,顾客搜索你的婴儿然后成交,顾客标签和搜索关键字给婴儿打标签。
先基本加权店权,再基本加权点击率、转化率、坑产、评价。半标品基本是销量权重越大越好。非标品的热度权重较高。
总之,算法模式在淘宝上都是为了使顾客能够快速找到他们需要的产品,并获得满意的产品。还能使公司利润最大化。很多商店不能做到这一点,是因为同行竞争太激烈,功夫再高也比不上菜刀。
网店运营中,如何做好主图和直通车图点击率高。
淘宝店的运作。
销售不到300的宝贝(对标同店销售超过10000个),最好的办法就是搞优惠活动。
然后是销售300以上(对标同店最高1万以上),方法二:
淘宝店的运作。
在同类公司中研究一下销量前10名的主图和他们的汽车图,看看他们的汽车图就知道了,汽车图很费时找,再结合他们的优势做主图和车图。
叫客服统计的客户咨问做多了有什么问题?把客户关心的问题列出来,制作一个表格,统计15天的数据,找出三个客户最关心的问题,然后把客户关心的三个问题以图表的形式展示出来,这样就可以消除客户关心的三个问题。
三、搜索流量来了递增支付买家数流量不涨反掉,为什么!
正文
在购买者数量增加之前,首先要谈谈核心问题-流量层次。
什么是流量层次,不是流量性质的潜在客户,而是从流量层次上升的倾向,简单来说就是流量层次的影响因素。
下半年进行检索的学生是否发现了检索流量变成波浪梯式上升的现象,以前只要支付购买者数量增加检索就很难上升?
而且,有趣的规则的各级总是千人左右变动,基本上第一流量级为500-1000,第二流量级为1000-2000,第三流量级为2000-3000,第四流量级为3000-4000。的双曲馀弦值。的双曲馀弦值。的双曲馀弦值。以下类推。
在搜索流量上升的通道中波形阶梯形状特别明显,在第一流量水平上增加数十张的话,可能会得到500张以上的搜索搜索。如果再快速增加购买者的数量,就会发现一点作用也没有。有时流量不上升反而会下降。许多同学一定会说是人群不允许的问题。事实是这样吗?
波形阶梯式流量增加背后的真相是什么?
如果之前的《关于淘宝搜索推荐算法排序机制和2021年搜索变化的方向》一文中,应该可以看出玄机
结果是机器学习算法模型的影响。
以前统计算法模型还占有很大一部分权重,从2019年下半年开始第三代推荐搜索算法,真正进入了系统推荐算法时代,以前统计算法只要你做得好就能撬开流量爆炸,现在也是暂时的
为什么现在的检索流量波形阶梯式上升也是机械学习算法模型的计算力和时效的原因。
另一方面,机械学习算法模型分析您的产品根据您的产品建模推荐需要一定的时间。
第二,机械学习算法模型根据用户和商品交流产生的行为数据,通过语言召回和向量召回,由于语言权重和向量权重的问题,不能同时获得权重。像玩游戏一样,必须逐步打破一个层次的一个层次。
这是波形阶梯式上升的形态。
如果你能理解我在说什么,你必须尊重系统,并根据系统算法模型进行操作节奏调整和布局。
无法获得检索流量的几个问题:
第一,布局语言过大,竞争环境不好,一般实战中直达语言过大,无指向性,检索方面的操作也是如此。
第二,人群标签的问题,人群标签首先是购物意图正确,然后是定制属性标签,不重视购物意图的测试。
第三,种子群标签的准确性从用户、商品和行为数据三个方面考虑。
第四,词系布局的问题,词系布局是词召回中如何提高词语权重的问题。
第五,关键词和人的点击率和转化率问题。
第六,是人群流动带来的问题,直通车智能新点击量过大,喜欢使用抢劫助手卡的第一屏幕,这两点对搜索产生影响,多是因为使用场景错误。
除了上述原因外,还有一个因素不为人所知。
如何理解坑产因素,如果想迅速突破这个项目的影响,不是你增加的速度,而是核心是对方没有给予机会,对方是什么体积。
你的搜索流量比你的竞争对手多,我上一篇文章说你的强度来自你的对手有多弱。
词召回和向量召回是机器学习模型的核心分析和判断因素,所以尊重系统,越破坏系统越欺骗。
词向量和向量回调如何优化?
语向量这一重叠游戏中重复的最好方法是语系布局,如果更准确更强的话,从类别布局和商品向量布局开始。
其他,例如向量召回,系统不仅会根据标题中的分词,还会根据意思进行语义相似度的语义向量推荐,明确方向性地知道该怎么办。
人群标签的判断和确认模型:
为什么直通车增加现在很难检索,原因真的很多,在这里再明确两点。
第一,直通车测试和判断的初始人标签图像和真正成交人标签图像的相似性问题。
你测试的一组标签组合、二组、三组、不稳定或不能扩大,ppc一天比一天高。
第二,直通车词系和检索方关键词系的相似性问题,今天要做好检索,首先要判断系统,即机械学习算法模型是什么,不是计算,系统是计算,系统是如何判断产品的
很多同学根据我之前在标签上叠加玩法4。0之前说的测试步骤一步一步测试,之前有用,现在效果不好,为什么?核心是竞争的问题。
我们要测试人群标签,了解人群标签是什么,核心组合的标签有几个。
这一点大家都不知道,基本上以性别、年龄、消费能力、职业、城市水平等最核心的水平为中心进行测试,很多同学问为什么我测试的数据不好,大问题是购物意图不集中。
除此之外,与品种有很大关系:
标准品和非标准品有一定的不同,但测试逻辑不变。
所谓一词一市场,一属性一群的关键词不同,检索背后的人不同,测试的定制人的属性也不同。
因为不能做所有人的生意,所以首先找到适合自己产品的性别、年龄、消费能力的人。
所谓的人必须有同样的购物意图,但是有多少学生统一了购物意图,测试了定制的人。
有多少同学分别测试了购物意图语和成交语。
为什么你测试的人群标签是正确的,但或者你测试的人标签流动性大,不能测试特别好。
基本问题是场景分析不足,购物意图是从潜在客户到新客户的过程,看点击率和收藏购买率,成交词是新客户成为老客户的过程看转化率。
关键词布局必须有两个场景:
第一,从潜在客户到新客户反映购物意图
第二,从新客户到老客户反映购物意图的成交方向
也就是说,你布局的关键词必须有两种。
有购物意图的人和有购物意图的人,一个是收获。
新阶段看的是潜在客流转移到新客户的收藏购买情况,收割看的是关键词的转化率。
只以转化率测试人群,语言方面和定制人群有很大的不稳定性,过滤数据不稳定。
过于稳定的语言和定制的人们,如何正确扩大范围锁的死亡。
因此,关键词布局基于两个场景:
最大化有购物意图的人,必须仔细分析具有属性的类别词,找出成交属性的方向
这两者之间的矛盾
这里还需要关键词转换率问题和词系的焦点方向的前提。
如果词性差异很大,即使直通车计划的变化很好,也很难进行检索。因为直通车关键词和检索关键词的词向量不在向量上。
成败取决于细节,通常问自己是真的知道还是不知道。
尊重系统,逐渐完成检索的增加,检索关键词下市场更是战场,你是狙击战、规模战、歼灭战还是游击战取决于你自己的现状资源和对战场环境的判断,进行检索,检索确定店铺的生死不是从流量的角度来考虑,而是从人群种子人群的图像来考虑,检索是最准确的优化种子人群标签图像的端口,推荐检索,手淘推荐是基于店铺种子人群标签图像的准确性
这一切的开始都是从购物意图开始的。的双曲馀弦值。的双曲馀弦值。
还有一句话,现在的时代:有流量不等于转换,从流量到订单,道路还很长,值得研究和学习。
七掌柜-鬼哥
。四、3分钟轻松了解个性化推荐算法
推荐这种体验除了电商网站,还有新闻推荐、电台音乐推荐、搜索相关内容及广告推荐,基于数据的个性化推荐也越来越普遍了。今天就针对场景来说说这些不同的个性化推荐算法吧。
说个性化之前,先提一下非个性化。 非个性化的推荐也是很常见的,毕竟人嘛都有从众心理,总想知道大家都在看什么。非个性化推荐的方式主要就是以比较单一的维度加上半衰期去看全局排名,比如,30天内点击排名,一周热门排名。
但是只靠非个性化推荐有个弊端,就是马太效应,点的人越多的,经过推荐点得人有更多。。。强者越强,弱者机会越少就越弱,可能导致两级分化严重,一些比较优质素材就被埋没了。
所以,为了解决一部分马太效应的问题,也主要是顺应数据化和自动化的模式,就需要增加个性化的推荐(可算说到正题了。。。)个性化的优点是不仅体验好,而且也大大增加了效率,让你更快找到你感兴趣的东西。YouTube也曾做过实验测试个性化和非个性化的效果,最终结果显示个性化推荐的点击率是同期热门视频的两倍。
1.新闻、视频、资讯和电台(基于内容推荐)
一般来说,如果是推荐资讯类的都会采用基于内容的推荐,甚至早期的邮件过滤也采用这种方式。
基于内容的推荐方法就是根据用户过去的行为记录来向用户推荐相似额推荐品。简单来说就是你常常浏览科技新闻,那就更多的给你推荐科技类的新闻。
复杂来说,根据行为设计权重,根据不同维度属性区分推荐品都是麻烦的事,常用的判断用户可能会喜欢推荐品程度的余弦向量公式长这样,我就不解释了(已经勾起了我关于高数不好的回忆)。。。
但是,这种算法缺点是由于内容高度匹配,导致推荐结果的惊喜度较差,而且有冷启动的问题,对新用户不能提供可靠的推荐结果。并且,只有维度增加才能增加推荐的精度,但是维度一旦增加计算量也成指数型增长。如果是非实体的推荐品,定义风格也不是一件容易的事,同一个作者的文风和曲风也会发生改变。
2.电商零售类(协同过滤推荐和关联规则推荐)
说电商推荐那不可能不讲到亚马逊,传言亚马逊有三成的销售额都来自个性化的商品推荐系统。实际上,我自己也常常在这里找到喜欢的书,也愿意主动的去看他到底给我推荐了什么。
一般,电商主流推荐算法是基于一个这样的假设,“跟你喜好相似的人喜欢的东西你也很有可能喜欢。”即协同过滤过滤算法。主要的任务就是找出和你品味最相近的用户,从而根据最近他的喜好预测你也可能喜欢什么。
这种方法可以推荐一些内容上差异较大但是又是用户感兴趣的物品,很好的支持用户发现潜在的兴趣偏好。也不需要领域知识,并且随着时间推移性能提高。但是也存在无法向新用户推荐的问题,系统刚刚开始时推荐质可能较量差。
电商行业也常常会使用到基于关联规则的推荐。即以关联规则为基础,把已购商品作为规则头,规则体为推荐对象。比如,你购买了羽毛球拍,那我相应的会向你推荐羽毛球周边用品。关联规则挖掘可以发现不同商品在销售过程中的相关性,在零售业中已经得到了成功的应用。
3.广告行业(基于知识推荐)
自从可以浏览器读取cookies,甚至获得年龄属性等信息,广告的个性化投放就也可以根据不同场景使用了。
当用户的行为数据较少时,基于知识的推荐可以帮助我们解决这类问题。用户必须指定需求,然后系统设法给出解决方式。假设,你的广告需要指定某地区某年龄段的投放,系统就根据这条规则进行计算。基于知识的推荐在某种程度是可以看成是一种推理技术。这种方法不需要用户行为数据就能推荐,所以不存在冷启动问题。推荐结果主要依赖两种形式,基于约束推荐和基于实例推荐。
4.组合推荐
由于各种推荐方法都有优缺点,所以在实际中,并不像上文讲的那样采用单一的方法进行建模和推荐(我真的只是为了解释清楚算法)。。。
在组合方式上,也有多种思路:加权、变换、混合、特征组合、层叠、特征扩充、元级别。 并且,为了解决冷启动的问题,还会相应的增加补足策略,比如根据用户模型的数据,结合挖掘的各种榜单进行补足,如全局热门、分类热门等。 还有一些开放性的问题,比如,需不需要帮助用户有品味的提升,引导人去更好的生活。
最后,我总想,最好的推荐效果是像一个了解你的朋友一样跟你推荐,因为他知道你喜欢什么,最近对什么感兴趣,也总能发现一些有趣的新东西。这让我想到有一些朋友总会兴致勃勃的过来说,嘿,给你推荐个东西,你肯定喜欢,光是听到这句话我好像就开心起来,也许这就是我喜欢这个功能的原因。
以上就是关于搜索推荐算法相关问题的回答。希望能帮到你,如有更多相关问题,您也可以联系我们的客服进行咨询,客服也会为您讲解更多精彩的知识和内容。
推荐阅读:
为什么百度出现一些没有的搜索(为什么百度出现一些没有的搜索引擎)