【AICUP2019】人工智慧論文機器閱讀- 論文標註競賽

人工智慧論文機器閱讀競賽之論文標註

競賽說明

如何設計一個系統，能自動閱讀論文摘要後，標註並統整論文裡所涉及的演算法？鑑於當今電腦科學的發展日新月異，演算法的更迭與演進以爆炸式的成長，歸納及統整這些演算法所需的人力將不復以往，而爬梳相關文獻所需的時間也往往讓研究者們深感無力。因此，讓機器自動梳理這些不斷推陳出新的演算法，將會是無可避免的嘗試。即便在人力可負擔的情形下，讓機器自動統整相關演算法，將可以讓研究者騰出時間做更有意義的事。

在本系列的競賽中，我們將嘗試以語意分析的技術解決一個令電腦科學研究者頭痛已久的問題：「如何設計一個能自動閱讀論文摘要，標注並統整論文中所發明、使用或用來比較的演算法的系統」。

競賽任務１[論文標註競賽]：

我們將提供arXiv上電腦科學相關的論文摘要，參賽者需要使用這份資料預測論文中每個句子的分類（Background、Objectives、Methods、Results、Conclusions、Others）。需要注意的是句子可以有多個分類，例如：一個句子可以同時是Objective和Methods。

報名規範

年滿18歲皆可報名參加，未滿18歲之未成年人經法定監護人同意後可報名參加。（趨勢科技公司員工除外）
參賽隊伍人數1至5人。
參賽者只能加入一個參賽隊伍，一旦加入隊伍後則無法更換隊伍。
報名截止後，不可再變更團隊成員名單及人數。
比賽期間，隊伍不可合併與分割。
基於學校課程要求而參與比賽的參賽者，隊伍命名方式請依循學校課程之規定，以利課堂評分。

領獎資格與方式

本次獎項包括「學生組排名獎」8名、與「趨勢科技人工智慧菁英獎」1名。
趨勢科技人工智慧菁英獎：得獎隊伍同意協助主辦單位下列安排，否則喪失領獎資格。
- 不分參賽者身份，本獎項頒發給Private Leaderboard最高分之隊伍。若得獎者為學生隊伍，則可與「學生組排名獎」重複領獎。
- 隊伍內至少一人須具備中華民國國籍、或中華民國工作或學生簽證，該參賽隊伍方具一般組領獎資格。
- 獎金以新台幣匯款方式發放，符合報名規範及具領獎資格之得獎隊伍應推派有本地新台幣帳戶之隊員代表受領獎金，並以該隊員為中華民國稅務申報人，依規定簽署包含稅務、個資使用等相關之文件。
- 得獎隊伍需於比賽結束後的指定期限內，公開分享實作程式及設計文件。
- 得獎隊伍需至少推派一員代表參與後續頒獎活動，如無隊友協助，則可請親友一人代表出席領獎及進行簡報分享。
學生組排名獎：得獎隊伍同意協助主辦單位下列安排，否則喪失領獎資格。
- 隊伍內所有成員於報名當日，皆須符合中華民國各大專校院在學學生身分，該參賽隊伍方具學生組領獎資格，並於敘獎時檢附相關證明。
- 獎金以新台幣匯款方式發放，得獎隊伍應配合中華民國稅法繳交相關所得稅。
- 「學生組排名獎」得獎隊伍須於指定截止日前，提交搜尋模型的原始程式碼與最終報告，以驗證結果。報告完整性將視為實際獲獎依據，若截止日後報告有所缺漏，將取消獲獎資格。
- 「學生組排名獎」得獎隊伍相關指導成員，將由主辦單位發函建請教育行政主管機關學校，本權責予以行政獎勵。惟指導教授不得與學生一同報名，請於最終報告內填寫指導教授名稱。
- 前八名之「學生組排名獎」得獎隊伍，經主辦單位之評審委員審定後將獲得教育部獎狀乙紙。
- 「學生組排名獎」各項獎勵名額得視參賽件數及成績酌予調整，參賽作品未達水準時，得由主辦單位之決選評審委員決定從缺，或不足額入選。
- 得獎隊伍需於比賽結束後的指定期限內，公開分享實作程式及設計文件。
- 得獎隊伍需至少推派一員代表參與後續頒獎活動，如無隊友協助，則可請親友一人代表出席領獎及進行簡報分享。
- 因報名資格審查及頒獎資料審核需求，請確認 T-Brain 註冊帳號之姓名為正確之中文姓名，如有需要可至 T-Brain 帳號之 My Profile 功能中進行修正。
名次在前25%且Private Score超過Baseline (Baseline: 0.69)之隊伍，經主辦單位之評審委員會審定後，將獲頒教育部人工智慧競賽計畫辦公室獎狀。

評分標準

提交檔案內容格式需符合比賽格式規定。
Leaderboard系統會對每次的提交結果進行評測。
比賽過程中，參賽隊伍會得到 Public Leaderboard 評測的分數做為參考。
比賽最後一天 (12/30) 公佈 Private Dataset 供參賽者進行預測及上傳。比賽結束後公佈 Private Leaderboard 的結果，以最後一次上傳之 Private Dataset 預測獲得之分數排名。

評分方式

Micro F1 Score

TPi : 分類 i 的 True Positive
FPi : 分類 i 的 False Positive
TNi : 分類 i 的 True Negative
FNi : 分類 i 的 False Negative
在競賽任務1中，分類為 Background, Objective, Methods, Results, Conclusions, Others

競賽規則

Public Dataset 預測結果每日提交上限 2 次，Private Dataset 預測結果在 12/30 提交之上限為 10 次。
參賽隊伍可以使用額外開源資源如語料、字典及套件等來增進模型訓練結果，惟務必使用Machine Learning來進行辨識與分類，禁止使用任何人工標記。若有使用額外資料，需為公開/開源資料或學術資料集，也要提供來源資訊以進行審核。如有爭議，主辦單位保有最終決定權。
禁止使用非開源Auto Machine Learning 相關之自動建模服務。
不可私下共享程式及特徵值，但可在官方討論區公開討論。
如有需要，主辦單位有權在比賽途中調整資料集。
如有下列情事，主辦單位得無需告知參賽者，逕行取消參賽者資格或領獎資格：
- 已有具體事證，所屬隊伍有任何抄襲、作弊、或詐欺等行為
- 已有具體事證，所屬隊伍有侵害他人智慧財產權之情事
- 已有具體事證，所屬隊伍有對Leaderboard系統進行攻擊
- 已有具體事證，所屬隊伍影響其他參賽隊伍導致不公平事例發生
- 已有具體事證，所屬隊伍違反本比賽活動辦法、或「T-Brain AI實戰吧平台服務」使用條款、或「教育部機器閱讀公開挑戰賽」參賽者使用條款
主辦單位保有對活動與競賽規則解釋及裁決的權利

獎項說明

趨勢科技人工智慧菁英獎新台幣 10 萬元

[學生組] 第一名新台幣 10 萬元

[學生組] 第二名新台幣 6 萬元

[學生組] 第三名新台幣 4 萬元

[學生組] 佳作新台幣 1 萬元

學生組前八名隊伍除獎金獎項外，並將獲頒"教育部獎狀"。名次達前25%且Private Score超過Baseline (Baseline: 0.69)之隊伍，可獲頒"計畫辦公室獎狀"。

議題提供單位:國立臺灣大學資訊工程學系

民國66年教育部核准臺灣大學成立資訊工程學系，招收學士班學生，隸屬工學院，為臺灣最早以「資訊」命名之系所。民國70年成立研究所招收碩士班學生，民國73年延伸到博士班，從而建立一套完整的高級資訊工程教育體系。民國89年8月資訊系與電機系共同成立電機資訊學院，為全國電機資訊領域的研究重鎮。資訊系與資訊網路與多媒體研究所（民國93年成立）、生醫電子與資訊學研究所生醫資訊組（民國95年成立），共同於電機資訊學院內組成資訊學群。臺大資訊工程學系在優秀的師生與優良的設備之下，學術地位不僅國內領先，也達國際卓越水準。近年來，多次於全世界大專程式競賽ACM ICPC獲得金牌，並於機器學習KDD Cup世界大賽中多次獲得冠軍。

Public Leaderboard

Private Leaderboard

人工智慧論文機器閱讀競賽之論文標註

​