基于语言学家的标签验证的印尼语词性标注语料库
数据描述符 开放获取 发布日期:2026年8月12日 科学数据(2026年) 引用此文章 我们提供了这份手稿的未编辑版本,以便早期访问其发现。在最终发布之前,手稿将经过进一步编辑。请注意,可能存在会影响内容的错误,并且所有法律免责声明均适用。 摘要 词性(POS)标注是一个关键过程,可以显著影响其他文本分析任务。使用BiLSTM方法,印尼语词性标注目前已实现高准确率。然而,由于识别具有多重含义的单词(歧义)和词汇外(OOV)单词的挑战,这个值仍然不是最优的。一个原因是缺乏一个一致的、可验证的语料库,可以作为可靠的、可验证的数据来源。因此,本研究提出了一种机制,通过改编Fu等现有语料库来开发新的语料库,这些语料库包含21,024个句子,并使用基于语言学家的标签验证进行增强。语料库开发过程包括六个步骤:语言学家选择、不一致性识别、预处理、不一致性检测、不一致性修正和语料库评估。评估是在2,457个经过验证的单句句子子集上进行的,对初步过滤的语料库与提议的语料库IDeal进行了比较。结果显示,提议的语料库中的标签变化数量较初步过滤的语料库有所减少,熵从0.04降低到0.02。评估表明,IDeal优于以往的基准。此外,在这个限制的单句上下文中,IDeal语料库在一般情况和模糊案例中改善了模型性能。模型的宏观F1分数在一般情况下提高了大约8%,在模糊情况下提高了约9%。此数据集可从https://doi.org/10.5281/ZENODO.20159181下载。 致谢 本研究获得印度尼西亚高等教育、科学和技术部以及EQUITY计划(合同号4299/B3/DT.03.08/2025和3029/PKS/ITS/2025)委托的印度尼西亚教育基金会(LPDP)的资助。我们要感谢 Ade Putri Riajang Pandan Tunjung Sari、Afidati Lelani Putri、Alvina Yustiyaningrum、Arina Nida Arrusyda、Arizqa Novi Ramadhani、Arynda Natasha Dewanty、Aulia Destya Putri、Azlin Huwaida Azzahra、Betty Khasandra Pujayanti、Bilqis Tirtakayana、Dewi Ayu Permatasari、Edgar Allan Stefan、Erika Asni Sabrina、Fadhila Khusnul Na’imah、Fitri Aljazera、Haikal Wiranata、Henik Fuji Rahmawati、Hilmy Hidayana、Muhimatul Khoiriyah、Nailul Hikmah、Nurkumala Dewi、Talita Hariyanto、Theophillus Bagas Adhiatma、Ulfa Nadhiroh Mukminin、Vista Artamarista Hapsari Kusuma、Zahra Putri Pratiwig、Zhafira Afra Putri Hermawan,为他们对我们数据注释的贡献。 作者信息 作者及其隶属单位 印度尼西亚泗水十月二日技术学院信息学系 Umi Laili Yuhana、Muhammad Alfian与Daniel Siahaan 印尼克拉兰大学印尼语言与文学系 Harum Munazharoh 东帝汶迪利理工学院工程与科学学院 Edio da Costa 澳大利亚拉筹伯大学计算、工程与数学科学学院 Eric Pardede 作者 Umi Laili Yuhana Muhammad Alfian Daniel Siahaan Harum Munazharoh Edio da Costa Eric Pardede 通信作者 联系Umi Laili Yuhana。 伦理声明 竞争利益 作者声明没有竞争利益。附加信息 出版者声明 施普林格·自然在已发布地图和机构隶属中对管辖权的声明保持中立。 权利和许可 开放获取 本文根据创意共享署名-非商业性-禁止演绎4.0国际许可发布,允许在任何媒体或格式中进行非商业性使用、分享、分发和复制,只要您给予原作者和来源适当的信用,提供创意共享许可的链接,并指明您是否修改了许可材料。您在此许可下不得分享根据本文章或其部分衍生的改编材料。本文中的图像或其他第三方材料包含在文章的创意共享许可中,除非在材料的信用行中另有说明。如果材料未包含在文章的创意共享许可中,并且您的预期用法未被法定规定许可或超过许可使用,您将需要直接从版权持有人获取许可。要查看此许可的副本,请访问http://creativecommons.org/licenses/by-nc-nd/4.0/。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡