姜大校花越聽蘇飛的問題,眉頭皺的越深,她總感覺在哪裡見過這個問題,終於她回想起來這熟悉的感覺來源於哪。
這不是我大二的那篇華科院一區論文所嘗試攻克的問題麼?
看著眼前講得滔滔不絕的蘇飛,姜傾雪表情微微一滯,這貨不會是專門看過我的那篇論文來刷好感度的吧?
“……在注意力機制的運算上,無序問題的時空性我覺得是最難解決的,這在自然語言處理領域體現的尤為明顯,我想著社長不是自然語言處理領域的麼,就想著問問社長……社長,社長,你還在嗎?”
蘇飛見姜大校花愣在那,在她眼前晃了晃手。
姜傾雪略微有些不好意思:“剛才走神了,抱歉,能不能再說一遍。”
蘇飛感到有些意外,姜大校花這種連廢話都不喜歡多說一句的以效率優先的人,居然也會走神麼。
“從哪裡開始?”
“最初開始。”
蘇飛:“……”
合著您就壓根沒聽我說什麼是吧。
蘇飛:“如此這般……那般……”
他又重新說了一遍。
“你的這個問題其實我有嘗試解決過。”
姜大校花說到此處,看向蘇飛。
蘇飛:“額,所以怎麼解決的。”
姜傾雪一時摸不準,蘇飛是裝傻還是真不知道,她只得繼續說道:“我並沒有完全解決這個問題,而且我研究的不是注意力機制這個方面,而是在其他的模型訓練中有遇到過這種資訊無序的問題,我當時採用的方法是人為地給每個位置標了一個資訊,在計算的時候帶入這個資訊。”
蘇飛:“所以效果如何?”
姜大校花說道:“效果也不能說沒有,但極其有限,不過對於我的那篇論文來說,已經足夠了。”
蘇飛捕獲了一個關鍵詞,那篇論文。
“社長,你撰寫的那篇論文能不能給我參考下。”
雖然蘇飛搜尋了近年所有的注意力機制文獻,但如果有論文提出了注意力機制相關難題的解決方案,卻以其他模型的標題發論文,那麼蘇飛搜尋不到也是一件很正常的事情。
這種搜尋論文沒法搜尋完全的情況,在學術界其實是一件很正常的事,這也是為什麼很多大牛喜歡開研討會,特別喜歡和不同領域的人交流的原因。
姜傾雪想了想:“明天我把我的論文和當時參考的所有資料一起整理給你吧。”
蘇飛連忙道謝,隨後道::“社長,你剛才說的沒有完全解決,也就是說這個思路應該是正確的,但遇到了一些問題?”
姜傾雪思考了一會兒,點頭說道:“最主要的還是位置資訊,位置資訊如何設定以及位置資訊以怎樣的方式加入模型輸入,這是一個很重要的問題。而我說的沒有完全解決,就是在這個問題上我沒有處理好。”
說到此處,姜大小姐停頓了一下,隨後以一種極其自信地語氣,說道:“至於思路,我相信我不會出錯,解決資訊無序問題的思路必定是引入位置資訊。”
這自信的樣子,果然不愧是姜大校花。
但引入位置資訊這個思路,蘇飛也覺得非常靠譜,既然資訊是無序的,直觀上的第一想法當然是引入位置資訊,這種簡單清奇的思路與其說是學術方面的積累,倒不如說是第六感的靈光一閃。
果然,姜傾雪的智商被評為25不是沒有原因的,她靈光一閃的想法直截了當地戳中了盲點。
如果思路沒錯,那麼任何問題都只需要一張靈感激發卡。
思及此處,蘇飛說道:“社長,那就由我來幫你完善這個方案吧,我也相信社長的思路不會出問題。”