• 六枝特资讯网
  • 您的位置:首页 >> 社会新闻 >> 正文

    GLUE榜单第一!百度ERNIE年底交预训练模型亮眼成绩单

    发表时间:2020-02-10 信息来源:www.15pisu.com 浏览次数:840

     

    锘?

    鍖椾含镞堕棿12链?10镞ワ紝棰勮缁冩ā鍨嬮鍩熺殑钬沧渶链変环链肩悆锻樷?濈栌搴﹀卺灏?(Baidu ERNIE)鍐嶆灞旷幇浼桦娍锛屽湪镊劧璇█澶勭悊棰嗗烟镄勬潈濞佹暟鎹泦GLUE涓悕鍒楁棣栥?傚畠绗竴娆$獊镰翠简90鍒嗭紝骞冲潎寰楀垎涓?9鍒嗭紝鍒锋柊浜嗗垪琛ㄧ殑铡嗗彶璁板綍銆傚畠瓒呰秺浜嗗井杞疢T-DNN-SMART銆佽胺姝孴5銆丄LBERT绛夎澶氩浗闄呴《绾ч鍩硅妯″纺镄勮〃鐜帮紝瀹炲姏寰楀埌浜嗘瀬澶х殑灞旷ず銆?

    姝よ兑姘村垪琛ㄤ腑榛勯噾鍚噺链?楂朴?备紬镓?锻ㄧ煡锛孏LUE鏄嚜铹惰瑷?澶勭悊棰嗗烟链?鏉冨▉镄勬帓鍚嶅垪琛ㄤ箣涓?銆傚畠鏄敱绾界害澶у銆佸崕鐩涢】澶у銆佽胺姝屾繁搴︽?濈淮鍜屽叾浠栨満鏋勮仈鍚堟帹鍑虹殑銆傚畠娑电洊浜嗗ぇ閲忎笉鍚岀被鍨嬬殑镊劧璇█澶勭悊浠诲姟锛屽寘鎷嚜铹惰瑷?鎺ㄧ悊銆佽涔夌浉浼煎害銆侀棶绛斿尮閰嶃?佹儏镒熷垎鏋愮瓑涔濆ぇ浠诲姟锛屽凡鎴愪负琛¢噺镊劧璇█澶勭悊镰旗┒杩涘睍镄勮涓氭爣鍑嗐?傚洜姝わ紝瀹冨惛寮曚简璋锋瓕銆佽劯涔﹀拰寰蒋绛夐《绾у浗闄呭叕鍙革紝浠ュ强鏂潶绂忓ぇ瀛﹀拰鍗″唴鍩烘闅嗗ぇ瀛︾瓑椤剁骇澶у銆侴LUE鎺掑悕镄勬晥鏋滃湪涓?瀹氱▼搴︿笂宸茬粡鎴愪负琛¢噺鍚勬満鏋勮嚜铹惰瑷?澶勭悊棰勮缁冩妧链按骞崇殑链?閲嶈鎸囨爣涔嬩竴銆傝繖涓?娆★紝鐧惧害镄勮嚜铹惰瑷?澶勭悊鎶?链湪瓒呰秺椤剁骇锲介台鍏徃鍜屽ぇ瀛︾殑鑳藉姏鑳屽悗绉疮浜嗗緢澶氥??

    镊?2018骞村簳浠ユ潵锛屼互BERT涓轰唬琛ㄧ殑棰勮缁冩ā寮忓ぇ澶ф彁楂树简镊劧璇█澶勭悊浠诲姟镄勫熀鍑嗘晥鏋滐紝骞跺彇寰椾简閲嶅ぇ鎶?链獊镰淬?傚熀浜庡ぇ瑙勬ā鏁版嵁镄勯璁粌鎶?链凡缁忔垚涓鸿嚜铹惰瑷?澶勭悊棰嗗烟镄勫叧阌?傛墍链変汉宸ユ櫤鑳藉叕鍙搁兘鍦ㄩ鍩硅棰嗗烟锅氩嚭浜嗗法澶у姫锷涳紝鍏埚悗鍙戝竷浜哫LNet銆丷oBERTa銆丄LBERT銆乀5绛夐鍩硅妯″瀷銆傜?惧害杩桦厛鍚庡彂甯冧简ERNIE 1.0鍜孍RNIE 2.0锛屽苟鍦?16涓腑鑻辨枃鏁版嵁板嗕笂銮峰缑浜嗗綋镞剁殑SOTA銆?

    浠嶨LUE鎺掑悕鏉ョ湅锛孊ERT閲囩敤浜嗛璁粌鍜屽井璋幂殑鏂规硶锛屼笌涔嫔墠镄勫熀绾跨粨鏋灭浉姣旓紝澶уぇ鎻愰佩浜嗗悇椤逛换锷$殑鏁堟灉锛岄娆$獊镰翠简80鍒嗐?俋LNet銆丷oBERTa銆乀5銆丮T-DNN-SMART绛夊瀷鍙峰垎甯冨湪88-89镣圭殑锣冨洿鍐咃紝钥屼汉绫荤瓑绾т负87.1銆?

    鐧惧害ERNIE杩欐鐧讳笂浜嗘棣栵紝鎴愪负绗竴涓獊镰?90鍒嗙殑链哄瀷锛屽苟鍦ㄥ彲涔愩?丼ST-2銆丵QP銆乄NLI绛夋暟鎹泦涓婅揪鍒癝OTA銆备笌BERT镄?80.5鍒嗙浉姣旓紝鎻愰佩浜呜繎10鍒嗭紝鍙栧缑浜嗘樉钁楃獊镰淬??

    Baidu ERNI 2.0铡熺悊锲?

    ERNIE 2.0鎸佺画瀛︿范璇箟鐞呜В妗嗘灦锛屾敮鎸佷粠涓嶅悓瑙掑害澧为噺寮曞叆瀹氩埗镄勯璁粌浠诲姟锛岄?氲绷澶氢换锷″涔犺缁冨拰镟存柊妯″瀷銆傛疮褰揿紩鍏ユ柊浠诲姟镞讹紝妗嗘灦鍙互瀛︿范璇ヤ换锷★紝鍚屾椂涓崭细蹇樿浠ュ墠瀛︿范镄勪俊鎭??

    链宄颁细镄勬ā鍨嬩富瑕佸熀浜嶦RNIE 2.0鎸佺画瀛︿范璇箟鐞呜В妗嗘灦涓嬬殑涓?绯诲垪浼桦寲銆傚紩鍏ヤ简镟村鏂扮殑棰勮缁冧换锷★紝濡傚熀浜庝簰淇℃伅镄勫姩镐佽竟鐣屾帺镰佺畻娉曘?傚煿璁墠镄勬暟鎹拰妯″瀷缁撴瀯涔熻繘琛屼简寰皟銆?

    涓庢鍚屾椂锛岀栌搴RNIE 2.0璁烘枃(https://arxiv.org/abs/1907.12412)琚浗闄呴《绾т汉宸ユ櫤鑳戒细璁瓵AAI-2020鏀跺綍銆侫AAI 2020灏嗕簬2020骞?2链?7镞ヨ呖12镞ュ湪缇庡浗绾界害涓捐銆傚众镞讹紝鐧惧害镄勬妧链洟阒熷皢杩涗竴姝ュ睍绀鸿繎链熺殑鎶?链垚鏋溿??

    涓庤胺姝孊ERT鐩告瘮锛屽悗鏉ョ殑鐧惧害ERNIE涓轰汉宸ユ櫤鑳藉睍绀轰简鎯娄汉镄勪腑鏂団?滀汉宸ユ櫤鑳介?熷害钬濄?备粖澶╋紝鐧惧害鍦ㄨ嚜铹惰瑷?澶勭悊鏂归溃镄勬繁搴︾Н绱凡缁忔墿鏁e埌涓嶅悓镄勯鍩熴?侲RNIE棰勫煿璁妧链凡骞挎硾搴旗敤浜庡叕鍙稿唴澶栫殑璁稿浜у搧鍜屾妧链満鏅?傚畠鍦ㄧ栌搴︽悳绱€?佸皬阔崇銆佷俊鎭祦鎺ㄨ崘绛変竴绯诲垪浜у搧搴旗敤涓彂鎸ヤ简閲嶈浣灭敤銆傚畠鏋佸ぇ鍦版彁楂树简浜у搧镄勬妧链晥鏋滃拰鐢ㄦ埛浣挞獙锛屽苟阃愭笎璧嬩篑鍚勮鍚勪笟锷涢噺銆?

  • 热门标签

  • 日期归档

  • 友情链接:

    六枝特资讯网 版权所有© www.15pisu.com 技术支持:六枝特资讯网 | 网站地图