Ученые MIT разработали новейшую систему, которая использует машинное обучение для декодирования языков, не выдержавших испытание временем. Многочисленные исследования показывают, что большинство языков мира сегодня не используются, а десятки мертвых языков остаются нераспознанными, поскольку лингвисты недостаточно знают их грамматику, лексику и синтаксис.
Изучать забытые языки сложно, большинство из них не с чем сравнивать, а в некоторых отсутствуют разработанные правила грамматики или пунктуации. Но лаборатория компьютерных наук и искусственного интеллекта MIT совершила прорыв в расшифровке забытых языков.
Ученые создали систему, которая способна автоматически декодировать забытый язык без углубленных знаний других языков. Таким образом, она может определять связь между языками. Недавние открытия показывают, что, например, иберийский язык не имеет отношения к баскскому, как это утверждалось до сих пор.
“Система основана на семи принципах, связанных с историческими и лингвистическими представлениями. В соответствии с этими принципами, можно сделать вывод, что языки развиваются предсказуемо”, – заявила Регина Барзилай, руководитель проекта в MIT. “В эволюции языков редко можно добавлять или удалять все звуки, их скорее заменяют. Например, слово с буквой “P” на родном языке может измениться на “B” на дочернем языке, но вряд ли она изменится на “K”.
Используя эти языковые ограничения, ученые MIT разработали алгоритм декодирования, который может обрабатывать огромное количество возможных преобразований. Система стремится сегментировать слова древних языков, а также сопоставлять их с аналогичными словами на родственных им языках.
