今年高考英語ai得分134分是多少(今年高考英語ai得分134分怎么樣)
奧飛寺明敏
量子比特|公眾號QbitAI
在接受了語文作文的挑戰(zhàn)之后，AI現(xiàn)在又將目光投向了高考英語。
結果朋友，我今年高考英語卷子（國家A級卷子）一開始就拿到了134分。。
這并不是偶然的超額成就。
在2018年至2021年的10組真實測試中，AI的成績均在125分以上，最高記錄為138.5分，并且還獲得了聽力和閱讀理解滿分。的成績
這是CMU學者Qin。提出的高考英語測試AI系統(tǒng)
其參數(shù)量僅為GPT-3的16分之一，平均成績卻比GPT-3高出15分。
其背后的秘密叫做重構預訓練（reStructuredPre-training），是作者提出的一種新學習范式。
具體來說，就是從維基百科、YouTube等平臺重新提取和重構信息，然后喂給AI進行訓練，從而賦予AI更強的泛化能力。
兩位學者用足100多頁的論文，深入解釋了這一新范式。
那么，這個范式到底是關于什么的呢？
讓我們仔細看看吧~
什么是重構預訓練？
論文的標題很簡單，叫做reStructuredPre-training(RST)。
核心觀點可以凝結成一句話，請撥打重視數(shù)據(jù)?。?/strong>
作者認為，這個世界上到處都有有價值的信息，但目前的人工智能系統(tǒng)并沒有充分利用數(shù)據(jù)中的信息。
例如，維基百科和Github包含了模型可以學習的各種信號：實體、關系、文本摘要、文本主題等。由于技術瓶頸，這些信號之前沒有被考慮。
因此，作者在這篇文章中提出了統(tǒng)一使用神經(jīng)網(wǎng)絡的方法存儲和訪問包含各種類型信息的數(shù)據(jù)。
它們以信號為單位以結構化的方式表示數(shù)據(jù)，這與數(shù)據(jù)科學中我們經(jīng)常將數(shù)據(jù)結構化為表或JSON格式，然后通過專門的語言（例如SQL）檢索所需的信息非常相似。
具體來說，這里的信號實際上是指數(shù)據(jù)中的有用信息。
例如，在“莫扎特出生于薩爾茨堡”這句話中，“莫扎特”和“薩爾茨堡”都是信號。
那么，就需要在各個平臺上進行數(shù)據(jù)挖掘，提取信號。作者將這個過程比作從礦井中尋找寶藏。
接下來，利用提示的方法，可以將這些來自不同地方的信號統(tǒng)一為一種形式。
最后，這些重新組織的數(shù)據(jù)被整合并存儲到語言模型中。
這樣，研究就可以統(tǒng)一來自10個數(shù)據(jù)源的26種不同類型的信號，讓模型獲得很強的泛化能力。
結果表明，在多個數(shù)據(jù)集中，RST-T和RST-A零樣本學習的性能為優(yōu)于GPT-3的少樣本學習性能。
為了進一步測試新方法的性能，作者還想到了讓AI做高考題的方法。
他們表示，現(xiàn)在很多工作方法都遵循中國GPT-3的思想，在應用場景上他們也遵循OpenAI和DeepMind進行評估。
例如GLUE評估基準、蛋白質(zhì)折疊評分等。
基于對當前AI模型發(fā)展的觀察，筆者認為可以開辟一條新的賽道進行嘗試，于是想到利用高考來實踐AI。
他們一共找來了10套往年和往年的試卷來批改，請高中老師來批改。
對于聽力/圖像理解等問題，還邀請機器視覺、語音識別領域的學者提供幫助。
最終完善了這套高考英語AI模型。您也可以撥打她Qin。
從測試結果可以看出，秦老師的學術水平絕對是一流的，他的10套試卷成績?nèi)扛哂赥0pp和GPT-3。
此外，作者還提出了一個高考基準。
他們覺得目前很多評估基準任務都非常簡單，大部分沒有實用價值，很難與人類條件進行比較。
高考題不僅涵蓋了多種知識點，而且直接有人類分數(shù)進行對比，可謂一石二鳥。
NLP的第五范式？
如果從更深層次來看，作者認為重構預訓練可能會成為NLP的新范式，即預訓練/微調(diào)過程視為數(shù)據(jù)存儲/訪問過程。
此前，作者將NLP的發(fā)展概括為四種范式：
P1。全監(jiān)督學習，非神經(jīng)網(wǎng)絡時代的非神經(jīng)網(wǎng)絡P2.基于神經(jīng)網(wǎng)絡的全監(jiān)督學習（FullySupervisedLearning，NeuralNetwork）P3預訓練、微調(diào)范式（Pre-train、Fine-tune）P4.預訓練、提示、預測范式（Pre-train、prompt、Predict）然而，基于目前對NLP發(fā)展的觀察，他們認為未來或許可以以數(shù)據(jù)為中心的方式來看待問題。
也就是說預訓練/微調(diào)、few-shot/zero-shot等概念的區(qū)分會更加模糊，核心只會集中在一點——
有價值的信息有多少、能利用多少。
此外，他們還提出了NLP進化假說。
其核心思想是，技術發(fā)展的方向始終是做更少的事情來實現(xiàn)更好、更通用的系統(tǒng)。
筆者認為NLP經(jīng)歷了特征工程、架構工程、目標工程、提示工程，目前正在向數(shù)據(jù)工程方向發(fā)展。
復旦武大校友打造
本文成果WeizheYuan。
她畢業(yè)于武漢大學本科，隨后前往卡內(nèi)基梅隆大學讀研究生，學習數(shù)據(jù)科學。
研究方向側(cè)重于NLP任務的文本生成和評估。
去年，她有一篇論文被AAAI2022和NeurIPS2021接收，并獲得了ACL2021最佳演示論文獎。
論文通訊作者為卡內(nèi)基梅隆大學語言技術研究所（LTI）博士后研究員劉鵬飛。
2019年于復旦大學計算機系獲得博士學位，師從邱錫鵬教授、黃玄晶教授。
研究興趣包括NLP模型可解釋性、遷移學習、任務學習等。
博士期間獲得計算機領域多項獎學金，包括IBM博士獎學金、微軟學者獎學金、騰訊人工智能獎學金、百度獎學金等。
OneMoreThing
值得一提的是，劉鵬飛向我們介紹這部作品時，直言“我們一開始并沒有打算投稿”。
這是因為他們不希望會議論文的格式限制了他們在撰寫論文時的想象力。
我們決定把這篇論文當作一個故事來講述，給“讀者”一種看電影的體驗。
這就是我們在第三頁設置“觀看模式”全景圖的原因。
就是要帶大家了解NLP發(fā)展的歷史以及我們設想的未來是什么，讓每一位研究者都能有一定的參與感，感覺自己在通過礦山尋寶來引領預訓練語言模型（PLM）是一個通向更美好明天的過程。
文章的最后，還隱藏著一些驚喜的彩蛋。
例如PLMs主題表情包：
以及最后的插圖：
這么看吧，100多頁的論文讀起來也不會累了~
論文地址：
https://arxiv.org/abs/2206.11147——完——
量子比特QbitAI·今日頭條簽約
相關資訊
- 畢業(yè)論文選題,查資料及寫作技巧怎么寫(畢業(yè)論文選題,查資料及寫作技巧是什么)
- 淺談因材施教的重要性(淺談因材施教論文)
- 物聯(lián)網(wǎng)工程專業(yè)介紹及就業(yè)方向(物聯(lián)網(wǎng)工程專業(yè)介紹論文概要)
- 厲行節(jié)約光盤行動議論文作文800字(厲行節(jié)約光盤行動的征文)
- 數(shù)據(jù)分析師是什么樣的工作內(nèi)容(數(shù)據(jù)分析師是什么樣的工作)
- 大數(shù)據(jù)超算中心(大數(shù)據(jù)超算服務 望京)
- 人生如棋的作文議論文(棋如人生作文800字)
- 大學法語專業(yè)簡析論文題目(大學法語專業(yè)就業(yè)前景)