| 6月8日消息，蘋果近日發(fā)表了一篇研究論文，稱推理模型全都沒(méi)真正思考，無(wú)論DeepSeek、o3-mini還是Claude 3.7都只是另一種形式的“模式匹配”，所謂思考只是一種假象。
有人總結(jié)到：蘋果剛剛當(dāng)了一回馬庫(kù)斯，否定了所有大模型的推理能力。
蘋果團(tuán)隊(duì)認(rèn)為，現(xiàn)有評(píng)估主要集中在既定的數(shù)學(xué)和編碼基準(zhǔn)上，看模型最終答案是否正確，但可能存在模型訓(xùn)練時(shí)見(jiàn)過(guò)類似題目。
并且，這些評(píng)估大都缺乏對(duì)“思考過(guò)程質(zhì)量”的分析，比如中間步驟是否邏輯一致、是否繞彎路等。
為了更客觀測(cè)試推理模型的推理能力，他們?cè)O(shè)計(jì)了4類謎題環(huán)境：漢諾塔、跳棋交換、過(guò)河問(wèn)題、積木世界，并且這4類謎題的難度可以精確控制.
隨著問(wèn)題變難，推理模型初始會(huì)延長(zhǎng)思考，但隨后思考深度反而下降，盡管仍有充足token預(yù)算，它們卻在最需要深入思考時(shí)選擇了放棄!
并且，當(dāng)問(wèn)題復(fù)雜度繼續(xù)增加并超過(guò)某個(gè)臨界點(diǎn)時(shí)，無(wú)論是推理模型還是標(biāo)準(zhǔn)模型都會(huì)經(jīng)歷完全的性能崩潰，準(zhǔn)確率直線下降至零。
對(duì)此，有網(wǎng)友諷刺到：“蘋果擁有最多的資金，2年了也沒(méi)有拿出像樣的成果，現(xiàn)在自己落后了，卻來(lái)否定別人的成果�！�
據(jù)悉，Apple Intelligence在2024年WWDC正式亮相，在這一年里，蘋果宣傳中的許多功能都經(jīng)歷延期、不夠完善甚至被下架。
不過(guò)也有人指出，這篇論文沒(méi)有看上去那么消極，而是呼吁設(shè)立更好的推理機(jī)制和評(píng)估辦法。
|
