作為在一家公司中從事算法,數(shù)據(jù)挖掘,機(jī)器學(xué)習(xí)的小伙伴們,似乎會(huì)有一些感覺,我現(xiàn)在做到的東西感覺好土啊,一點(diǎn)也不高大上,明明有那么多吊炸天的算法,為啥我們現(xiàn)在還要用這么土的方法呢?不行我要嘗試這些吊炸天的算法,而有的時(shí)候卻往往是吃力不討好。
就個(gè)人感覺而言,工業(yè)算法工程師其實(shí)是要求蠻高的一個(gè)崗位,雖然從業(yè)七年多了,但是是否已經(jīng)入門還真的不敢說。因?yàn)樗婕暗念I(lǐng)域太多,經(jīng)典的已經(jīng)被反復(fù)證明有成熟套路的應(yīng)用場(chǎng)景就包括了,搜索效果優(yōu)化,個(gè)性化推薦,計(jì)算廣告,智能風(fēng)控等等。而每一個(gè)場(chǎng)景背后雖然有著比較共同的基礎(chǔ)算法理論支持,但真要把某一個(gè)領(lǐng)域做好,卻真的不是那么容易的事情。
拿推薦的場(chǎng)景舉例吧。
常見的推薦手法有幾種,那么拿基于標(biāo)簽畫像的方法來做個(gè)引子。
設(shè)計(jì)一套標(biāo)簽體系;對(duì)待推薦的目標(biāo)實(shí)體,通過運(yùn)營(yíng)打標(biāo),用戶ugc打標(biāo),實(shí)體本身附屬的文本內(nèi)容,圖像內(nèi)容進(jìn)行標(biāo)簽抽取;對(duì)用戶通過瀏覽、購(gòu)買、加購(gòu)物車,評(píng)論等行為將實(shí)體標(biāo)簽關(guān)聯(lián)到用戶身上。這樣,當(dāng)用戶有新的行為的時(shí)候,就可以通過標(biāo)簽和權(quán)重集合作為特征向量,計(jì)算消費(fèi)者和推薦實(shí)體的相似度,離線或?qū)崟r(shí)的生成推薦列表了。
這樣似乎沒有啥問題,其實(shí)是有問題的。
如果我們的應(yīng)用的展示位很豐富,推薦展示位只是其中一小部分,那么問題可能還不會(huì)那么明顯。但是如果我們的應(yīng)用是高度依賴算法智能推薦的的話,那就好玩了,因?yàn)轳R太效應(yīng),越推越窄,很快一些標(biāo)簽的權(quán)重就高的沒法看了。
這該怎么辦呢?
可以有一些不同的路子去嘗試,可以通過標(biāo)簽擴(kuò)展(其實(shí)效果不容易控制,粒度太粗);或者引入其它的推薦算法作為推薦源(svd,itmbase,userbase,contentbase等等)。這個(gè)時(shí)候,就要想辦法去合理安排這些算法了。
后面會(huì)有越來越多的問題接踵而來:哪些算法適合放在基礎(chǔ)層面去負(fù)責(zé)初試粒度的召回呢,哪些算法適合把各個(gè)基礎(chǔ)找回算法結(jié)果進(jìn)行精排序呢,用戶主動(dòng)搜索了一個(gè)東西我如何快速反饋到其它展示位的推薦結(jié)果中呢,我該如何設(shè)計(jì)日志打點(diǎn),以方便后續(xù)的效果跟蹤呢,如何可以更自動(dòng)化的去測(cè)試不同的算法組合,算法參數(shù)而不應(yīng)總是人手動(dòng)abtest呢,如何能夠給運(yùn)營(yíng)以合理的干預(yù)權(quán)限以增加業(yè)務(wù)邏輯而又不會(huì)影響算法本身的效果呢,我如果請(qǐng)求失敗了有沒有降級(jí)方案呢,集群job似乎越跑越慢了是不是要單獨(dú)申請(qǐng)個(gè)queue防止其他人干擾我呢……
哈哈,想做好效果這些全都是要考慮到的事情啊,靠單純的一個(gè)算法,很難去最好一個(gè)場(chǎng)景。我更喜歡稱算法工程師為效果優(yōu)化工程師,因?yàn)樵谄髽I(yè)當(dāng)中,你第一核心要?jiǎng)?wù)不是把某個(gè)算法研究的特別透徹,而是要讓你的整套效果優(yōu)化的流程跑順,在此基礎(chǔ)上,用實(shí)際業(yè)務(wù)指標(biāo)去說話。
回歸前面的算法同學(xué)們的苦惱,其實(shí)算法也是技術(shù)的一種,而技術(shù)的本質(zhì),按科學(xué)技術(shù)哲學(xué)中的理論是:技術(shù)是一種解蔽的過程,解蔽嘛,就是實(shí)打?qū)嵉淖龀鰧?shí)際效果。所以經(jīng)過大家無數(shù)次實(shí)際使用并證明行之有效的方法就特別受歡迎,新奇的算法,注定是在回去效果達(dá)到一定瓶頸的時(shí)候去做突破而用的了。
-
算法工程師
+關(guān)注
關(guān)注
2文章
30瀏覽量
6133
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論