Euskarazko corpus orokorrak osatzeko weba ustiatzen

Abstract

Testu-corpusak behar-beharrezkoak dira egoera normalean bizi nahi duen hizkuntza batentzat, eta hala da euskararentzat ere. Baina euskarazko corpus orokorren tamaina oso txikia da beste hizkuntza handiagoenekin konparatzen badugu. Horregatik, logikoa da, beste hizkuntza horiek egin duten bezala, euskarak ere “Web-as-Corpus” planteamendua (hau da, weba eta metodo automatikoak) baliatzea. Artikulu honetan azaltzen dira egileak bere doktore-tesian euskarazko corpus orokor handi bat biltzeko eta weba euskarazko corpus gisa kontsultatzeko egindako ikerketak, garatutako tresnak eta lortutako emaitzak. Lan horretan lehenbiziko aldiz lortu da 100 milioi hitzetik gorako euskarazko corpus bat osatzea, eta online jarri dira gizartearen eskura corpus hori eta weba corpus bat bailitzan kontsultatzeko tresna.

Text-corpora are essential for any language that aims to live in a normal situation, and so it is for the Basque language too. But the sizes of Basque general corpora are small if we compare them to those in other major languages. Therefore it is logical that the Basque language, just as any of those other languages, makes use of the “Web-as-Corpus” approach (that is, making use of the web and automatic methods). In this paper we describe the research carried out, the tools developed and the results obtained in his PhD thesis by the author to collect a large general corpus of Basque and to build a service to query the web as a Basque corpus. This work has allowed to build a 100 million word corpus for the first time, which has been , and this corpus and a tool to query the web as a Basque corpus have already been put online for their public use.