芯耀
27
與非網(wǎng) 9 月 20 日訊，NLP 是計算機科學(xué)，人工智能和語言學(xué)的交叉領(lǐng)域。目標(biāo)是讓計算機處理或“理解”自然語言，以執(zhí)行語言翻譯和問題回答等任務(wù)。
隨著語音接口和聊天機器人的興起，NLP 正在成為信息時代最重要的技術(shù)之一，同時它也是人工智能的關(guān)鍵部分。充分理解和表達語言的含義是一個非常困難的目標(biāo)。
大部分 NLP 技術(shù)都是由深度學(xué)習(xí)提供技術(shù)支持。在深度學(xué)習(xí)中，表示學(xué)習(xí)試圖自動學(xué)習(xí)來自原始輸入的良好特征或表示。而在機器學(xué)習(xí)中手動設(shè)計的特征通常過多且不完整，需要花費很長時間進行設(shè)計和驗證。而且深度學(xué)習(xí)提供了一個非常靈活、通用且可學(xué)習(xí)的框架，用于呈現(xiàn)視覺和語言信息的世界。最初，它在語音識別和計算機視覺等領(lǐng)域取得突破。最近，深度學(xué)習(xí)方法在許多不同的 NLP 任務(wù)中表現(xiàn)出了非常高的性能。這些模型通?？梢酝ㄟ^單一的端到端模型進行訓(xùn)練，并且不需要傳統(tǒng)的，特定于任務(wù)的特征工程。
雖然 NLP 研究領(lǐng)域已經(jīng)在深度學(xué)習(xí)的幫助下取得了長足的發(fā)展，許多技術(shù)也已經(jīng)商業(yè)化落地，但我們也需要知道，這個領(lǐng)域還有幾個開放性問題等待解決 —— 如果它們也能比較好地解決，也許我們能迎來 NLP 科研成果與商業(yè)落地的一個新的高潮。
下面列舉的 5 個開放性問題來自自學(xué) NLP 的機電一體化本科生 Deepak Garasangi 在 Reddit 上的發(fā)帖討論內(nèi)容總結(jié)，并且參考了 Sebastian Ruder 曾經(jīng)總結(jié)的 4 個開放性問題。按重要性從輕到重排序：
5. 評價指標(biāo)
這個問題在領(lǐng)域內(nèi)不算很大的瓶頸，但是經(jīng)常有研究人員覺得有必要重新討論這個問題，因為現(xiàn)行慣例里往往不問原因就沿用某些固定的架構(gòu)、數(shù)據(jù)集和評價指標(biāo)。有人這樣總結(jié)：「隨著我們探索越來越高級的認(rèn)知任務(wù)，弄明白為什么某些方法、某些架構(gòu)在某些時候能起到好的效果，這對我們非常有幫助?！?/p>
另外一種擔(dān)憂是對于評價指標(biāo)自身的，這些評價技巧、這些生成的數(shù)字到底能在多大程度上對應(yīng)人類語言的多樣性和表達能力？對這個問題的回答也可以幫助我們構(gòu)建出更有趣的自然語言推理數(shù)據(jù)集。
拓展閱讀：EMNLP 2017 論文《Why We Need New Evaluation Metrics for NLG》（https://www.aclweb.org/anthology/D17-1238）
4. 終生學(xué)習(xí)（Life long learning）
NLP 領(lǐng)域遇到的另一個棘手問題是為這幾個問題設(shè)計解決方案：
低階模型用于下游任務(wù)時的終生適配
遷移學(xué)習(xí)的應(yīng)用
視覺、文本、音頻等等語言相關(guān)模態(tài)的無縫整合
低資源情境中高效的跨任務(wù)遷移
拓展閱讀：Sebastian Ruder 近期寫了一篇文章，總結(jié)了 NLP 領(lǐng)域遷移學(xué)習(xí)的現(xiàn)狀，AI 科技評論也做了編輯，可以點擊閱讀
3. 面向目標(biāo)的對話系統(tǒng)
面向目標(biāo)的對話系統(tǒng)（Goal oriented dialogue systems）
從 ACL 學(xué)會出版的論文集來看，近一兩年的 ACL 會議、EMNLP 會議中研究面向目標(biāo)的對話系統(tǒng)的論文都有大幅增加。這就是又一個開放性問題：如何設(shè)計具備常識、能在真實世界語境中與人類進行較長的、面向目標(biāo)的交談的機器對話系統(tǒng)。目前的研究思路包括：帶有狀態(tài)追蹤的任務(wù)驅(qū)動的對話系統(tǒng)，使用強化學(xué)習(xí)的對話系統(tǒng)，以及很多別的新點子。
拓展閱讀：在 NLP 中應(yīng)用強化學(xué)習(xí)
https://www.csie.ntu.edu.tw/~yvchen/doc/KAIST19_Tutorial.pdf
2. 低資源語言
這可以算是最緊迫的問題。目前全世界大約有 7000 種語言，但這些語言中只有很小的一部分，大概 20 種左右，可以算是資源豐富的語言。這個問題除了很實際之外，在其中找到靈感、取得進展也相對比較容易。專家們認(rèn)為可行的方向包括：
為低資源語言設(shè)計收集數(shù)據(jù)、用較小數(shù)據(jù)訓(xùn)練語言模型的方法
可以有效用于低資源語言的跨任務(wù)遷移方法
拓展閱讀：詳細(xì)的說明文章參見 http://www.cs.cmu.edu/~ytsvetko/jsalt-part1.pdf
1. 自然語言理解
沒錯，這就是那個最開放的問題，它和 NLP 領(lǐng)域中的許多具體問題也都息息相關(guān)。想要解決這個高階的認(rèn)知問題，可能需要我們從強化學(xué)習(xí)、領(lǐng)域適應(yīng)、小樣本 / 零樣本學(xué)習(xí)等等領(lǐng)域中借鑒很多思想和方法，也還需要 NLP 研究人員們做出更多創(chuàng)新。
現(xiàn)階段的研究落腳點包括：
共指消歧（Coreference resolution）、多義詞解析（Polysemy）、文本 / 文檔總結(jié)（Text/Document Summarization）
論證與推理，諷刺與幽默
高效地表征大文本
環(huán)境中的語言學(xué)習(xí)（Grounded language learning），比如聯(lián)合學(xué)習(xí)一個世界模型和語言模型，并且學(xué)習(xí)如何在語言模型中使用世界模型。
Yoshua Bengio 曾說：「要有野心。不要（因為做 NLP 就）僅僅讀 NLP 論文。要讀很多機器學(xué)習(xí)、深度學(xué)習(xí)、強化學(xué)習(xí)的論文?！刮覀円蚕Ｍ魑谎芯空邆兛梢源蜷_眼界，多多參考以前和現(xiàn)在的包括別的領(lǐng)域的有用經(jīng)驗，才能解決更難的問題、做出更大的成果。
與非網(wǎng)整理自網(wǎng)絡(luò)！
