wpk德州官網最新版是一款人氣火爆的德州游戲,全新升級的競技場次,絕對沒有任何的卡頓情況,可以放心大膽的加入對局,每次都是隨機進行匹配,海量話費可以拿到手軟,不需要擔心作弊的情況,保證游戲的公平公正性
早期在HuggingFace和剛進AI2時,他一直推崇「多發(fā)模型」,但久而久之,這變成了團隊的負擔。
他沒采納那種「研究生上課不重要」的建議,反而學到了不少扎實的基礎知識。
項目自然流入; 推薦自然發(fā)生; 你會被當成「AI開放科學的頭部人物」之一,而不必不斷自我證明。
這不是謙虛,而是想說明:
在他剛加入時,Ai2正好在訓練Tülu 2 70B。
用慣性傳感器數據優(yōu)化步態(tài)、避障,甚至控制真實飛行器。
? 作為組織,HuggingFace雖坐擁心智占有率,近期卻面臨動能不足。
如今,他的谷歌引用數已有5千多,h指數為32。
突破圈層的關鍵,不是資源而是契機+準備。
研究生生涯后期,他在心理健康資源頁面上專門列了份「研究現(xiàn)實清單」,記錄所有不如意的事情。
相信只要肯努力多年,多數人都能做成很難的事。不是不夠努力,是沒堅持夠久。
這和他現(xiàn)在很多寫作動機一樣:寫作是最好的學習方式。
而這,正是他始終心系的愿景:AI的未來不屬于孤勇者,而是屬于一群協(xié)力前行、彼此賦能的人。
為機器人生成「復雜地形」進行測試;
這讓他更容易脫穎而出。
有很多沖勁,但沒方向。
在AI領域,太頻繁發(fā)模型,會讓我們來不及掌握、完善下一個模型;
這是他后來變得非常重要的能力。
但一旦飛輪動起來,「發(fā)布頻率」反而可能成為負擔:
不是每次實驗都要成功,但每次投入都能積蓄下一次的突破。
早期的「爆款」通常都不會真的火,只是逐步積累影響力;
他不再是那個親自下場刷代碼的人,而是負責讓項目走得更遠、更穩(wěn)的人。
在AI2的這段時間,是他職業(yè)生涯中最容易被看清楚的一段。
但后來,時差、文化差異等問題接踵而至。
觀眾多了,維護公共輸出的成本也飆升。
2017年秋天,他開始在加州大學伯克利分校電氣工程與計算機科學系讀博。
之后一整年,他幾乎沒什么真正接觸AI研究的機會。
Ai2的高級研究科學家Nathan Lambert,最近分享了他如何走上AI之路。
最終他加入HuggingFace,那是唯一一份符合他要求的工作。
(即使慢一點、質量沒那么高、過程沒那么好玩——重點不在貶低團隊,而是看清自己的能力邊界。)
但他沒能真正融入伯克利AI實驗室,也沒有AI方向的朋友,身邊全是EECS電氣工程那邊的同學。
他們更熟悉細節(jié),也更擅長把新點子實現(xiàn)出來。
秋天錯過了一次會議投稿,而且很多實驗都失敗了。
在AI領域,太頻繁發(fā)模型,會讓我們來不及掌握、完善下一個模型; 觀眾多了,維護公共輸出的成本也飆升。
指引方向; 提前清除潛在障礙; 創(chuàng)造順暢推進的環(huán)境。
盡管起步艱難、幾經波折,他依舊在AI領域站穩(wěn)腳跟、有所成就。
很會專注,能獨自鉆研技術難題。 相信只要肯努力多年,多數人都能做成很難的事。不是不夠努力,是沒堅持夠久。 對讀不讀完博士,無所謂。大不了拿個名校碩士。 有很多沖勁,但沒方向。
這是一套全新的能力,他還在學習。
其中最寶貴一課,是如何積累勢能(momentum)和心智占有率(mind-share)。
FAIR實習+大量面試,幫他拿到第二個機會——DeepMind的實習。
不管如何,與此同時,他找到了屬于自己的定位:做開放科研的溝通者。
盡管這些工作在都還不錯,但坦白說,沒有哪個項目足以「構建職業(yè)基礎」。
做了第一個LLM排行榜;
很多人會高估別人的執(zhí)行力,低估簡單方案的價值,然后被自己復雜的想法拖?。ǔ翛]成本效應)。
現(xiàn)在,他花很多時間思考:
練出了穩(wěn)定的工作習慣;
這份工作對他來說,幾乎是最理想的狀態(tài):
那正是深度強化學習的高光時刻,相當于今天RL熱潮的「前浪」。
偶爾,他也會做些學術指導,但非常保護自己的時間。
FAIR的經歷讓他真正學會了如何做實驗、寫代碼。
論文鏈接:https://arxiv.org/abs/1901.03737
他另辟蹊徑,選擇了競爭沒那么激烈的方向。
博士畢業(yè)時,他沒有在NeurIPS/ICML/ICLR等頂會上發(fā)表過文章。
當你愿意從舞臺中心走下來,才能搭起更大的舞臺。
對讀不讀完博士,無所謂。大不了拿個名校碩士。
Diffusers提供最先進的預訓練擴散模型,支持圖像、音頻甚至分子3D結構生成
在HuggingFace,他收獲了許多。
論文鏈接:https://arxiv.org/abs/2403.13787
最難的是第一步,而愿意埋頭學基礎的人,最終會在別人止步之處繼續(xù)前進。
他的學術背景是MEMS(微機電系統(tǒng))、高能物理/激光。
上課、讀論文,基本是獨自暗中摸索。
動能可轉化為心智占有率,而后者一旦建立,僅需維持引力便能持續(xù)發(fā)揮影響。
但這也伴隨著風險。訓練AI模型是個異常細致的過程,任務繁瑣、對小細節(jié)的執(zhí)行有極高要求。
前提是你一直踩著油門往前沖。
論文鏈接:https://arxiv.org/abs/2305.18290
盡管實習體驗不盡如人意,但他由此積累了寶貴的技術經驗與人脈資源。
正是這個實習把他從「AI圈外人」帶到了「AI圈內人」的軌道上。
博士生導師曾對他說過:「每天專注4小時,你也能改變世界?!?/p>
這是一種完全不同的角色定位。
周圍的同事,年輕、優(yōu)秀、富有驅動力。
這很充實、也很有趣。
他的公開寫作對AI2有明確價值,而他也能持續(xù)鍛煉表達力、擴大影響力。 這樣的工作極其稀有,大多數公司并不會真的幫你個人成長。
Roberto對將機器學習應用于飄升機(ionocraft)感興趣。
他寫了很多申請,但直到畢業(yè)才拿到一些撥款,也算是前人栽樹,后人乘涼。
團隊只要稍微長大一點,可能就能帶來「瘋狂級別」的增益。
剛加入AI2時,他也經歷了一段適應期。
比如HuggingFace最具影響力的模型之一——Zephyr Beta,就是基于他幫助搭建的基礎設施完成的。
現(xiàn)在,他已轉變了工作方式,已經完全可以「因人隨事」而定。
每日必須推進技術進展——或是重大功能,或是代碼優(yōu)化。
你會被當成「AI開放科學的頭部人物」之一,而不必不斷自我證明。
美國藝術與科學院與美國國家工程院(NAE)雙院士、斯坦福大學教授、NLP大牛Chris Manning,如獲至寶,甚至說Nathan Lambert的這兩項工作「救活了DPO」。
這才算搭上AI的邊:
其實那時他沒實現(xiàn)過RLHF算法,也沒完整讀過論文,只是為了搞懂新概念就動筆了。
最后,他以零篇NeurIPS/ICML/ICLR論文完成了AI博士。
他慢慢覺得不再快樂了。
這些為之后遇到契合項目時,他能快速接住、真正發(fā)力打下了基礎。
創(chuàng)造順暢推進的環(huán)境。
基本不做線上社交(線下少量),大多數合作都會婉拒。
此外,他還在特斯拉做過電池工程實習。
如今AI研究如此熱門,太多人只求在簡歷上勾選這段經歷,而非深究細節(jié)——
這兩個概念緊密關聯(lián)卻存在微妙差異——
雖然他一直把自己當「強化學習傳人」,但也沒想太多,寫完就發(fā)了。
所以他更多的貢獻是:
每次和Roberto開會,他都「壓力山大」,生怕漏掉AI博士生「習以為?!沟臇|西。
突破點:公開科研溝通>技術產出
基礎不是障礙,反而是勢能的起點。
但堅守HuggingFace的文化,堅持日拱一卒:
所以,RewardBench是RLHF獎勵模型的第一個評估工具。
他形成了一個非常明確的觀點:
用仿真優(yōu)化新設計,再用硅材料制造出來測試;
如何更有策略地使用積累的影響力?
還訓練了一些有趣的小模型。
而那時的他,卻低估了自己的價值。
盡管當時總覺得自己格格不入,但那份全身心投入的執(zhí)著對真正的研究彌足珍貴。
在Diffusers庫,他做了一些邊緣性的貢獻,還做了不少關于負責任AI的研究。
所以他現(xiàn)在轉向更「少而精」的策略。當飛輪已經轉起來時,更少、更大的動作會更有價值。
這些「邊緣人社群」各有短長,最后大家都找到自己的落點。
雖然未能如愿,但他并未氣餒,反而堅持不懈,一直在主動爭取機會。
但其實,即使是「顯而易見」的事,也很少有人認真去做。
到了2019年冬天,論文成為他的「頭等大事」,雖然最后論文完成了,但成文有點粗糙、略顯拼湊。
因為在這個階段,高質量的輸出才是短期目標,而「被關注」是一個復雜得多的長期變量。
把顯而易見但沒人做的事,及時簡單地做好。
技術最終服務于人,好的科研不是一個人的沖刺,而是一群人的合力。
真正的轉機出現(xiàn)在2019年,Roberto問他要不要跟他去FAIR(Facebook人工智能研究院)實習。
轉機往往藏在別人不經意的一句引薦里。
世界頂尖學術AI研究實驗室
這條路很清楚:一旦你突破了第一道門檻,后面就會順一點——
回頭看,那是他第一次意識到自己的特長:
之后,他加入了Allen人工智能研究所(Allen Institute forAI,簡稱AI2)。
盡管注意力總量雖然在增長,但真正被關注的人反而在減少——
結果它成了RLHF關鍵詞下的長期搜索熱文(雖然現(xiàn)在內容已經有點舊了)。
大多數人放棄得太早了。
優(yōu)化腿部幾何形狀的學習算法;
而那時候,他開始堅持每周寫作,就是這一戰(zhàn)略最有力的驗證。
這次合作從2018年春天開始。
飛輪一旦足夠大,有時候什么都不做反而更有效:
職場中的「飛輪效應」
當時,他做了扎實的工作。
真正的成長不是「更努力」,而是「更聰明地努力」。
他曾主動聯(lián)系Levine和Abbeel,希望加入他們的研究組,但都被婉拒。
目前,該項目已不再積極維護和開發(fā)。
【新智元導讀】他不是天才,博士畢業(yè)0頂會論文,卻靠著堅持寫技術博客,因RLHF「網紅」博客文章一炮而紅,逆襲成功、躋身AI核心圈!技術可以遲到,但影響力不能缺席。這一次,是寫作改變命運。
? 個體持續(xù)積累動能換取行業(yè)影響力;
現(xiàn)在,Chris Manning首次提出直接偏好優(yōu)化DPO的論文,被引用了3000多次。
像Sergey Levine(下圖左)和Pieter Abbeel(下圖右)這類教授,當時炙手可熱,風頭正勁。
通過RewardBench這類重要的學術項目,他表示自己建立了信心:
當飛輪啟動,維持節(jié)奏比盲目奔跑更重要。
勢能來自每天一塊磚,而不是坐等奇跡。當別人還在等待大項目,他已經靠「基礎活」攢下了存在感和專業(yè)度。
RLHF技術博客「出圈」
轉機在他挖出了導師Kris Pister的一封舊郵件。
在HuggingFace從事RLHF期間,他為開源社區(qū)做了很多基礎性工作:
但日積月累,鍛煉了好習慣。
他希望AI能真正朝好的方向發(fā)展,而且堅信更開放的生態(tài)是實現(xiàn)這一目標的最好方式。
這條路,正好也反映了他的AI界朋友圈:一群「AI界的流浪玩具」。
導師幫他牽線認識了當時的Sergey Levine組的博士后Roberto Calandra。
長期研究,就得真正做「長期」準備。
當時是HuggingFace的研究負責人Douwe Kiela,把他招進去,領導人類反饋強化學習(RLHF)團隊。
https://www.linkedin.com/in/natolambert/
關鍵是要把「磚」一塊塊往上堆——
練出了穩(wěn)定的工作習慣; 真正理解了開源AI社區(qū)是怎么運作的。
Roberto Calandra現(xiàn)任德累斯頓工業(yè)大學正教授(W3教授級別),并領導該?!笇W習、自適應系統(tǒng)與機器人」實驗室(LASR)
那段時間最有價值的,其實是:
就像創(chuàng)業(yè)公司在找到產品市場匹配(PMF)前,要不斷試錯迭代,職業(yè)生涯也需要不斷點火:
拿下一份工業(yè)界研究崗,這對他來說才算真正「在AI領域站穩(wěn)了」。
但聽完迎新會、看教授介紹,他立刻就被AI吸引了。
而一旦有了清晰的個人品牌,故事就自然會往你這兒聚攏。
我能獨立提出點子,并帶頭推進高影響力的研究項目。
他不想總是站在最前線親自帶隊,而是希望通過營造環(huán)境、鼓勵他人,讓更多重要項目得以發(fā)生。
讓人沒想到的是,這類崗位會在他畢業(yè)一年后幾乎「消失殆盡」。
盡管前面經歷了不少波折,Nathan Lambert心里一直有一個明確的目標——
一開始就是不?!冈囁埂l(fā)布、調整; 早期的「爆款」通常都不會真的火,只是逐步積累影響力; 真正讓飛輪轉起來的,是多次的積累之后,勢能終于爆發(fā)。
一開始就是不?!冈囁?、發(fā)布、調整;
在AI實驗室趨于封閉、外界關注度飆升的當下,只要持續(xù)做與AI相關的事,在公眾眼里的成長就會指數級上升。
短期研究要產生影響,最有效方式就是把它接入模型訓練流程;
他真正「出圈」的起點,是為HuggingFace寫的第一篇重量級博客——關于RLHF(基于人類反饋的強化學習)。
他表示他越來越喜歡用「飛輪」(flywheel)這個比喻來看待項目、職業(yè)、乃至整個機構的發(fā)展。
真正讓飛輪轉起來的,是多次的積累之后,勢能終于爆發(fā)。
之后,他堅持做研究,同時不斷教學來維持學業(yè)。
HuggingFace如果當時能擴張團隊,并配上合適的技術領導,可能能將影響力擴大好幾倍。
他不是從小泡在實驗室的「圈內人」,而是靠韌性和創(chuàng)造力硬闖出來的。
科研不是單一角色的戰(zhàn)場,推動科學進展的,是一個個看似不起眼、但密不可分的角色組合。
比如在做RewardBench的時候,他整整三個月每天都擔心被別人「搶先發(fā)布」。
盡管在技術上,Nathan Lambert表示這些項目與DPO沒有直接關系。
他們嘗試了用于強化學習的合成環(huán)境項目Simulate,但其實他們人手根本不足。
事后回顧,Nathan Lambert認為入學前,他已有一些些基本特質:
真正理解了開源AI社區(qū)是怎么運作的。
所以只要成為其中之一,收獲會非常可觀。
在ChatGPT之前的那段時間,他在HuggingFace項目之間輾轉,基本是哪里有事、哪里需要人手就去哪兒。
許多時候,參與太多合作會讓人忽略一個問題:你是否能一個人把事做成?
結果發(fā)了后,又過了三個月才有人發(fā)競品。
加入HuggingFace,對Nathan Lambert來說也算幸運,避開了一些聽起來更誘人、但后來大裁員或轉型的公司。
把TRL庫現(xiàn)代化; 探索人類數據合同; 復刻數據集; 做了第一個LLM排行榜; 還訓練了一些有趣的小模型。
https://www.interconnects.ai/p/my-path-into-ai
如果他當初去了那些「前沿AI實驗室},可能早就被埋沒在其中,職業(yè)成長空間也被壓縮了。
很會專注,能獨自鉆研技術難題。
2022年5月加入HuggingFace后,在ChatGPT問世前的七個月里,他認為并未做出顯赫成果。
這個策略其實很簡單: