Methods and Algorithms for Integrating a Large Volume of Bibliographic Records into an Open Semantic Space

Введение

Актуальность проблемы. Задача книгоописания возникла за несколько тысячелетий до нашей эры. В ту эпоху человечество начало создавать книжные собрания, которые требовали ведения некоего подобия каталога. Одним из старейших списков книг, который может быть признан каталогом, является шумерская глиняная плитка, датированная 2000 г. до н.э.. Она была найдена в Ниппуре и хранится сейчас в музее Пенсильванского университета [108]. Скорее всего, крупные книжные собрания появились в Древнем Египте гораздо раньше, но, к сожалению, папирус, используемый египтянами, не настолько долговечный материал, как глиняные таблички.

Мощный скачок в развитии каталогизация получила в середине VI века, когда в Европе стали появляться монастыри. Книги, хранившиеся в библиотеках монастырей, подлежали строжайшему учету, поскольку представляли собой значительную материальную ценность из-за дороговизны пергамента и огромной трудоемкости по переписке. С ростом фонда библиотек разрастался и каталог, что неизбежно привело к созданию элементарных правил, направленных на поддержание порядка в записях.

Постепенно в библиотеки начали поступать книги светского содержания, что повлекло за собой создание аппарата для описания книг, направленного на разыскание рукописей читателями. Описания в каталоге стали группироваться по различным признакам: именам авторов, форме произведений, предметам и характеристикам. В качестве примера такого каталога можно привести каталог Гладстонберийского аббатства [153].

Огромное значение на развитие книгописания оказала попытка создания сводного каталога 183 монастырских библиотек Англии в 1250-1296 гг. Для обозначения библиотеки-участницы в каталоге использовалось краткое условное обозначение в виде номеров – сигл.

В XV в. значительно расширился круг авторов за счет произведений деятелей эпохи Возрождения. Изменился и состав читателей: помимо монахов библиотекой стали пользоваться люди разносторонних интересов. Их запросы потребовали изменения правил каталогизации, что привело к появлению алфавитного авторского указателя к систематическому каталогу [131].

В середине 1440-х годов Иоганн Гуттенберг изобрел печатный станок [36], это привело к бурному развитию книготорговли. Каталоги стали выполнять функцию плакатов, рекламирующих издания на книготорговых ярмарках. В качестве примера можно привести афишу Петра Шеффера, которая была напечатана в 1469-1470 гг. и содержала 21 книгу.

Распространение книгопечатания поставило новые задачи перед каталогизацией: необходимо было охарактеризовать не отдельный экземпляр, а издание целиком. Для этого в описания книг были добавлены новые элементы – имена издателей, место и год издания.

Развитие науки и книгопечатания привели к бурному росту количества книг в библиотеках. В XVII в. стало очевидно, что библиотека представляет собой не просто набор книг. Она в обязательном порядке должна содержать четко организованную систему каталогов, позволяющую ориентироваться в фондах. Одним из первых такую мысль высказал Габриэль Ноде [115], который настаивал на необходимости создания алфавитного каталога, в то время как до этого времени считалось, что достаточно иметь только систематический каталог. Тогда же библиотеки начали издавать первые печатные библиотечные каталоги. В качестве такого примера можно привести каталог книг Бодлеянской библиотеки [44]. К XVIII в. библиотекари пришли к выводу, что печатать каталоги в виде книг неудобно, поскольку постоянный приток новых поступлений невозможно было оперативно отобразить в печатном каталоге. Появление карточного каталога позволило решить эту проблему – своевременно отображать в каталоге информацию о новых книгах.

Требования к библиотекам и их каталогам со стороны научного сообщества неуклонно возрастали, т.к. появлялись издания на иностранных языках, переводные издания, специфические фонды, например, географические карты, периодика, изобразительный материал. Каталоги библиотек не могли удовлетворить требованиям читателей, что привлекло к проблемам каталогизации виднейших ученых XIX в. Именно в это время были заложены фундаментальные основы науки каталогизации в целом и формирования библиографической записи в частности.

Среди основных работ того времени хочется выделить исследования первого директора петербургской Публичной библиотеки А.Н. Оленина [37], Guillaume-François Debure [83], Antonio G. M. Panizzi [117], Thomas H. Horne [110], В.И. Собольщикова [45], Charles C. Jewett [103], Charles A. Cutter [80], Karl Dziatzko [85].

В первой половине XX в. развитие каталогизации было направлено в сторону создания национальных сводов правил книгоописания. А к середине прошлого столетия стало очевидно, что правила каталогизации в разных странах обязаны идти по пути неуклонного сближения [12]. На первый план вышли проблемы, связанные с использованием различных языков: транскрипция и транслитерация фамилий и имен, перевод заголовков и названий, описание переводных работ и международных договоров.

Во второй половине XX в. появились вычислительные машины, которые стали применяться в различных областях, в том числе и в каталогизации. Назрела необходимость создания машиночитаемого формата, который содержал бы перечень полей и правила их наполнения. Формальная логика вычислительных устройств требовала явного наличия или отсутствия элементов описания, в то время как человек мог интуитивно отделить автора от названия, глядя на каталогизационную карточку.

Разработкой и модернизацией форматов машиночитаемых библиографических записей в России занимались В.В. Скворцов [42], Е.И. Загорская [17, 24, 25], Н.П. Никольцева [17], Н.Н. Каспарова [5, 23–25], М.В. Экстрем, Т.А. Паршина, Г.Р. Ридер [59], Е.Д. Жабко [13], Т.Л. Масхулия [16, 35, 41], Ю.Г. Селиванова [16, 41], Л.В. Завьялова [16], М.В. Стегаева [16, 41], И.С. Дудник [5, 8], Т.А. Бахтурина [3–5], Г.П. Калинина [21, 22] и др.

Принципами создания автоматизированных библиотечных систем и электронных библиотек, опирающихся на использование машиночитаемых форматов библиографических записей, занимались Я.Л. Шрайберг [10, 11, 18, 57, 58], Ф.С. Воройский [9–11, 58], А.И. Земсков [18], Б.И. Маршак [33, 34], К.А. Колосов [28, 29], А.И. Племнек [38, 39], Б.Р. Логинов [32], Н.Е. Каленов, Г.И. Савин, А.Н. Сотников [20], В.М. Богданова, М.М. Горбунов-Посадов, Т.А. Полилова, М.И. Cлепенков [7] и др.

В 2006 г. Tim Berners-Lee сформулировал основные принципы связанных данных [67], из которых на основе интернета можно построить семантическую паутину. Отличие семантической паутины заключается именно в термине «данные», которое ставилось в противовес существовавшему на тот момент, пусть и «гипер-», но всё же «тексту». С точки зрения связанных данных библиографические записи представляют огромный интерес, поскольку объекты, информация о которых хранится в записях, взаимосвязаны: авторы связаны со своими произведениями, сериальные издания связаны друг с другом через общую часть, издательства имеют непосредственное отношение к изданным у них книгам и т.д.

Представлением библиографических записей в виде связанных данных занимаются ведущие каталогизаторы и специалисты информационных технологий В.В. Скворцов [43], О.Н. Жлобинская [14], А.А. Бездушный, А.Н. Бездушный, В.А. Серебряков, В.И. Филиппов [6], Bermès Е. [66], Svensson L.G. [124, 126], Böhme C. [72], Tillet B. [129, 130] и др.

С использованием принципов, предложенных Berners-Lee, в интернете реализуется проект открытых связанных данных – Linked Open Data [71], целью которого является интеграция данных из различных областей знаний, в том числе и библиографической информации. Поставщиками данных из библиографических записей в LOD являются как отдельные библиотеки, так и различные консорциумы. В качестве примеров можно привести работы, ведущиеся в Библиотеке Конгресса, Национальной библиотеке Франции [123], Национальной библиотеке Германии [125], Британской библиотеке [136], проекте Виртуальный Международный Авторитетный файл – Virtual International Authority File [95, 137], электронной библиотеке «Научное наследие России» [19].

Наличие открытого доступа к массиву библиографической информации с возможностью обнаружения семантически связанных данных является одной из составляющей развития как культуры в целом, так и отдельных направлений в книжной отрасли в частности. Преимущества от публикации библиографических записей в Linked Open Data трудно переоценить. На 78-ом Всемирном библиотечном конгрессе Международной федерации библиотечных ассоциаций IFLA, который состоялся в 2012 году в Хельсинки, были озвучены следующие преимущества от публикации данных в связанном виде [60]:

1. Открытый доступ и обмен метаданными.
2. Способствование случайному обнаружению новых источников данных.
3. Выявление основных шаблонов использования ресурсов и метаданных.
4. Навигация, основанная на использовании фасетов.
5. Обогащение метаданных с использованием ссылок.

Однако, при публикации данных, собранных из различных источников, неизбежно возникают вопросы интеграции данных: выявление дублетных записей и их слияние. Решением подобного рода проблем занимались Ivan P. Feleggi и Alan B. Sunter [86], Jeremy A. Hylton [88], Mauricio A. Hernández и Salvatore J. Stolfo [94], William E. Winkler [133], Pawel Jurczyk [105], В.А. Серебряков, А.Б. Антопольский, А.А. Каленкова, А.Н. Сотников [1], Д.Н. Рубцов и В.Б. Барахнин [40], О.М. Атаева и Л.Н. Шиолашвили [2], А.А. Князева, И.Ю. Турчановский, О.С. Колобов [27] и др.

В мире существует всего несколько проектов по решению комплексной проблемы интеграции данных из различных библиотек, представленных в разных форматах, с выявлением дублетных записей с последующим их слиянием, преобразованием в связанные данные и публикацией в LOD. Крупнейшим из них является проект по интеграции данных из европейских библиотек, музеев и архивов – Europeana [155]. Подход, применяемый в проекте Europeana, не может быть применен к решению нашей задачи, поскольку он основан [101] на использовании единого формата представления данных и неавтоматизированном механизме связывания данных.

Цель диссертационной работы. Расширение возможностей интеграции библиографических записей в открытое семантическое пространство.

Решаемая научная задача. Разработка методов и алгоритмов интеграции больших объемов библиографических записей в открытое семантическое пространство.

Подзадачи. Реализация поставленной цели предполагает решение следующих подзадач:

1. Анализ существующих решений в области интеграции библиографических записей в открытое семантическое пространство.
2. Разработка совместимой с уже существующими онтологии предметной области с учетом полноты представленной в библиографических записях информации.
3. Разработка алгоритмов, обеспечивающих установление близости текстовых полей библиографических записей.
4. Разработка системы интеграции библиографических записей, позволяющей формировать, хранить и предоставлять доступ к данным с использованием принципов Linked Open Data.

На защиту выносятся:

1. Структура и формат онтологии для публикации данных, полученных из библиографических записей, в открытом семантическом пространстве.
2. Масштабируемый алгоритм установления близости текстовых полей в библиографических записях, основанный на методе разбиения текстовых значений на биграммы с последующим отсечением с использованием меры Жаккара.
3. Алгоритм обнаружения дублетных библиографических записей и аддитивного пополнения данных в LOD в автоматическом режиме с использованием разработанной онтологии предметной области.
4. Архитектура сбора, хранения и публикации библиографических данных, позволяющая в автоматическом режиме осуществлять сбор библиографических записей из различных библиотек России, конвертировать их в формат, пригодный для публикации в LOD, проводить аддитивное пополнение данных и устанавливать связи с уже опубликованными в LOD данными.

Научная новизна. Новизна первого результата состоит в том, что в отличии от существующих решений предложена онтология, состоящая из минимального количества классов и свойств, что позволяет использовать её в качестве базиса для построения более сложных словарей, сохраняя при этом совместимость с уже существующими решениями. Отличительной особенностью второго научного результата выступает набор оптимизаций, основанных на методе построения множеств биграмм из текстовых строк с последующим использованием полученных биграмм для подсчета меры Жаккара. Третий научный результат характеризуется тем, что предложена совокупность правил адаптации алгоритма в зависимости от количества и качества библиографических записей, что делает алгоритм масштабируемым. Оригинальность четвертого научного результата состоит в гибридном подходе использования централизованной и распределенной архитектуры, позволяющем масштабировать полученную систему на сколь угодно большой объем данных без потери качества получаемых результатов.

Методы исследований. В работе применялись методы сравнительного анализа, моделирования, классификации, непараметрической статистики, сопоставления строк, связывания записей, а также методы анализа и синтеза информационных систем.

Теоретическая значимость исследования состоит в развитии концепции представления библиографических записей из разнородных источников в виде связанных данных, а также в определении технологических принципов дальнейшего расширения списка поставщиков метаданных. Также в результате исследования были разработаны алгоритмы выявления дублетных библиографических записей, создания обогащенной записи и связывания данных с уже опубликованными данными в LOD.

Практическая значимость и реализация результатов исследования заключаются в создании модульного программного комплекса, позволяющего консолидировать библиографические записи из различных библиотек, выявить дубликаты и произвести их слияние, сконвертировать метаданные, используя разработанную схему представления, и опубликовать их в связанном виде в LOD. Благодаря созданному программному комплексу международное библиотечное сообщество получило информацию о российских публикациях, которая обновляется в автоматическом режиме.

Цели и задачи исследования определили логику изложения материала и структуру диссертационной работы. Она состоит из введения, четырех глав и заключения. Каждая глава завершается выводами. Список литературы содержит 156 наименований. В диссертации 7 рисунков, 12 таблиц, 1 график, приводится 5 приложений.

Апробация работы. Основные положения диссертации изложены в 10 публикациях [47-56], две из которых [48, 52] опубликованы в изданиях, входящих в перечень ВАК РФ российских рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты на соискание ученых степеней доктора и кандидата наук по специальности 05.13.11. По теме диссертации были сделаны сообщения и доклады на международных научно-практических конференциях, симпозиумах и форумах: 79th IFLA General Conference and Assembly «IFLA World Library and Information Congress» (Сингапур, 2013г.), Двадцать первая Международная конференция «Крым-2014» «Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса» (г.Судак, Крым, 2014 г.), XIII Международная научно-практическая конференция «Электронный век культуры» (г.Сочи, Краснодарский край, Россия, 2014г.), Четвертый Всероссийский симпозиум «Инфраструктура научных информационных данных и систем» (г.Санкт-Петербург, Россия, 2014г.), 13-я Научно-практическая конференция «Участники и пользователи Национального информационно-библиотечного центра ЛИБНЕТ» «ЛИБНЕТ-2014» (г.Звенигород, Россия, 2014г.), EMC Forum 2014 (г.Москва, Россия, 2014г.), 18-е заседание Совета сотрудничества национальных библиотек России (г.Санкт-Петербург, Россия, 2014г.), V Всероссийская научно-практическая конференция «Фонды библиотек в цифровую эпоху: традиционные и электронные ресурсы, комплектование, использование» (г.Санкт-Петербург, Россия, 2015г.), Международный профессиональный форум: «Книга. Культура. Образование. Инновации.» (г.Судак, Крым, 2015г.), XVII Всероссийская научная конференция «Научный сервис в сети Интернет» (пос.Дюрсо, Краснодарский край, Россия, 2015г.), Пятый Всероссийский симпозиум «Инфраструктура научных информационных данных и систем» (г.Санкт-Петербург, Россия, 2015г.), Второй Международный профессиональный форум: «Книга. Культура. Образование. Инновации.» (г.Судак, Крым, 2016г.).

Реализация и внедрение результатов работы. Разработанная в диссертации система семантического связывания библиографических связей внедрена и используется в ФГБУ «Российская государственная библиотека» - операторе Национальной электронной библиотеки (НЭБ), что подтверждено справкой о внедрении №77/11-1567 от 18.10.2016г. В процессе разработки алгоритм выявления дублетных библиографических записей с последующим их слиянием был также апробирован на массиве записей ФГБУ «Российская национальная библиотека».

1 Анализ процессов интеграции библиографических записей в открытое семантическое пространство

Настоящая глава посвящена обзору предпосылок возникновения семантической паутины, а также обзору существующих решений по семантической интеграции библиографических записей.

1.1 Концепция Semantic Web

Отцом современного интернета считается Тим Бернерс-Ли (Tim Berners-Lee), хотя, строго говоря, это не совсем так. Протоколы, с помощью которых компьютеры обменивались данными, были созданы в Агентстве по перспективным оборонным научно-исследовательским разработкам США (DARPA) в конце 60-х годов ХХ века.

В 1989 году Тим Бернерс-Ли предложил мировому сообществу концепцию Всемирной паутины. В то время он был сотрудником Европейского центра ядерных исследований (ЦЕРН), где он обратил внимание на разрозненность информации, хранившейся на разных компьютерах. Процесс передачи информации с одного компьютера на другой нередко сопровождался многочисленными сложностями, связанными как и с несовместимостями форматов, так и наличием иерархической структуры подчинения отделов.

Тим предложил использовать принцип перекрестных ссылок, чтобы исследователь мог получить информацию, находящуюся на другом компьютере, непосредственно с него, не копируя к себе и не проходя всё иерархическое дерево подчинения отделов друг другу. Проблему различий в операционных системах он предложил решить с помощью установки клиентского программного обеспечения, которое могло бы переходить по ссылкам, размещенным в гипертексте.

В течение нескольких последующих лет им были разработаны протокол передачи гипертекста HTTP, язык гипертекстовой разметки HTML, глобальные идентификаторы ресурсов URI. Предложенные им технологии используются человечеством и по сей день. Основная заслуга Тима Бернерс-Ли заключается в том, что он создал единый стандарт, который позволил интернету остаться неделимым, не распавшись на непересекающиеся друг с другом множества частных сетей. Он же придумал термин «всемирной паутины» – World Wide Web.

Изначально интернет представлял собой среду, в которой общались технически образованные специалисты, ученые из различных областей науки: математики, физики, химики, биологи. Для создания и наполнения сайта требовались глубокие познания в программировании на различных языках, в том числе и HTML. На этом этапе созданием сайтов и их наполнением занималась небольшая группа людей. Контент создавался узким кругом высококвалифицированных специалистов и был предназначен для потребления профессионалами.

В конце ХХ века произошел знаменитый кризис пузыря доткомов, в результате которого было несколько подорвано доверие к интернету. Через несколько лет после этого возник термин Web 2.0. Основная суть Web 2.0 заключалась в том, что контент создавался не группой избранных лиц, а всеми участниками интернета. Появились инструменты, упрощавшие ввод, загрузку информации на сайты: блоги, комментарии, социальные сети. Существует мнение, что именно для реабилитации всемирной паутины был предложен термин Web 2.0 в противовес устаревшему Web 1.0. Однако, большинство ученых, в том числе и Тим Бернерс-Ли, склонно считать, что Web 2.0 – это всего лишь удачный маркетинговый ход, а не новая технология, поскольку она базируется на тех же самых протоколах, которые использовались с самого начала существования интернета.

В любом случае, информация, представленная на сайтах, предназначалась для людей, поскольку основу интернета составлял гипертекст. Это означало, что основный смысл, значение скрывался в самом тексте и не существовало формального способа извлечения этой сути, пригодного для автоматизированной обработки. Тимом Бернерсом-Ли была предложена надстройка над существовавшим интернетом, которая позволила бы автоматизированным системам извлекать информацию, анализировать её, устанавливать взаимосвязи и генерировать новую информацию. Такой подход он назвал «семантической паутиной».

Тим Бернерс-Ли предложил использовать термин «связанные данные» для реализации семантической паутины. В нашей жизни мы оперируем множеством данных: информация о стоимости продуктов в магазине, расписание авиарейсов, информация об авторстве литературного произведения. Анализируя данные, человек может принять взвешенное решение. Например, имея данные о наличии и стоимости книги в разных книжных магазинах, а также информации о месторасположении и часах работы этих магазинов, человек способен сделать выбор и купить необходимую ему книгу по оптимальной цене в близлежащем работающем магазине. К сожалению, автоматизировать этот процесс в терминах гипертекста чрезвычайно сложно [70].

Для оперирования данными необходимо было решить несколько ключевых вопросов [93]:

1. Каким образом обеспечить доступ к данным, чтобы их можно было повторно использовать?
2. Как должно происходить обнаружение данных, связанных с уже имеющимися данными?
3. Как приложения должны интегрировать разнородные данные, полученные из большого числа заранее неопределенных источников?

Также как World Wide Web изменил способы работы с текстом, с документами, необходимо было придумать механизмы поиска, доступа, интеграции и использования данных.

В 2006 году Тим Бернерс-Ли сформулировал четыре основных принципа связанных данных [67]:

1. Применение универсальных идентификаторов (Uniform Resource Identifiers - URI) [69] в качестве имен сущностей.
2. Применение HTTP URI для реализации возможности обращения по именам, чтобы они могли быть найдены как людьми, так и программными системами.
3. Предоставление полезной информации о сущности при обращении по URI, используя стандартизованные форматы.
4. Включение ссылок на другие cвязанные URI для облегчения поиска.

Для реализации этих принципов было предложено использовать модель представления данных RDF (Resource Description Framework) [107], которая пригодна для машинной обработки. Структурно выражения в RDF представляют собой триплеты. Каждый триплет состоит из субъекта, предиката и объекта. Выражение RDF-триплета означает, что отношение, указанное предикатом, связывает предметы, обозначенные как субъект и объект [112].

Субъект в триплете указывается с помощью URI, который идентифицирует описываемый ресурс. Объект в триплете может иметь вид простого текстового значения: строка, число или дата; а может, как и субъект, указываться с помощью URI на другой ресурс, который имеет какое-либо отношение к субъекту. Предикат указывает какой тип отношений существует между субъектом и объектом. Предикат также идентифицируется с помощью URI, которые берутся из специальных справочников – коллекций URI.

В качестве примеров триплетов, полученных из одной библиографической записи, можно привести следующие:

Основная идея RDF состоит в том, чтобы показать взаимосвязь одних данных с другими. Объекты одного триплета RDF могут являться субъектами другого триплета, что позволяет рассматривать множество триплетов, как ориентированный граф. Вершинами в таком графе являются субъекты и объекты, а рёбрами – предикаты (рис. 1).

Поскольку URI, идентифицирующие субъекты, предикаты и объекты, уникальны, то все существующие связанные данные можно трактовать как один гигантский глобальный граф (Giant Global Graph - GGG) [68].

Использование RDF для связанных данных имеет ряд преимуществ:

1. Использование HTTP URI в качестве глобальных уникальных идентификаторов для субъектов, предикатов и объектов позволяет модели данных RDF использоваться в глобальном масштабе.
2. Каждый RDF-триплет является частью гигантского глобального графа, и каждый RDF-триплет может быть использован как стартовая точка для исследования связанных данных.
3. Модель данных RDF позволяет устанавливать связи между данными из разных источников.
4. Информация из разных источников может быть легко объединена с помощью слияния двух множеств триплетов в один граф.
5. RDF позволяет представлять информацию в одном графе, используя различные схемы, т.к. предикаты могут быть использованы из различных словарей.

Возможности модели данных RDF значительно шире, чем это необходимо для связанных данных. В связи с этим от некоторых возможностей RDF рекомендовано отказаться при представлении связанных данных. В частности, не рекомендуется:

1. Использовать RDF-коллекции, RDF-контейнеры и осуществлять RDF-овеществление, поскольку данные конструкции весьма громоздки.
2. Область использования пустых вершин должна быть ограничена документом, в котором они появились. Иначе значительно возрастает сложность слияния нескольких графов в один.

RDF не является форматом, а представляет собой лишь абстрактную модель для описания взаимоотношений между данными в виде триплетов. Для публикации RDF-триплетов в Web необходимо их сериализовать одним из нескольких существующих способов. Наиболее распространенным способом является представление в виде XML - RDF/XML. Синтаксис RDF/XML стандартизован [65] консорциумом W3C и широко используется для публикации связанных данных в интернете.

Для встраивания RDF-триплетов непосредственно в HTML-документы используют формат сериализации RDFa [132]. Изначально RDF информацию указывали в виде комментариев в HTML-документах, однако это оказалось не практичным, поскольку при изменении документа необходимо было четко контролировать согласованное изменение в комментариях. Впоследствии триплеты стали органично встраивать в объектную модель документа (Document Object Model, DOM). Формат сериализации RDFa широко используется в тех случаях, когда владелец данных имеет возможность редактировать HTML шаблоны для публикации и не имеет права повлиять на технологию публикации данных.

Существует способ сериализации RDF, ориентированный на создание и чтение триплетов человеком – Turtle [64]. N-Triples является подмножеством Turtle, в котором отсутствует возможность использования пространства имен (namespaces) и других методов сокращения размера файла, например, компактные URI (CURIE) или вложенные конструкции. В связи с этим файл, написанный с использованием N-Triples, получается гораздо больше, чем с использованием Turtle и даже RDF/XML. Но у N-Triples есть одно неоспоримое преимущество: благодаря отсутствию механизмов сокращения размера файла каждая строка содержит в себе исчерпывающий объем информации, поэтому файл N-Triples может быть считан и разобран построчно. К тому же избыточность файла N-Triples позволяет множеству алгоритмов архивации значительно уменьшать его размер. Эти два свойства сделали N-Triples основным стандартом при обмене большими объемами связанных данных, например, для создания архивных копий.

Множество современных языков программирования поддерживают нотацию JSON (JavaScript Object Notation), поэтому неудивительно, что существует способ сериализации RDF/JSON [82]. Публикация RDF-триплетов с использованием сериализации RDF/JSON позволяет множеству программистов, использующих такие языки как JavaScript, PHP, разбирать, анализировать и модифицировать связанные данные без установки дополнительного программного обеспечения и использования специализированных библиотек.

1.1.1 Web-онтологии

Как уже было сказано выше, RDF представляет собой абстрактную модель представления данных с помощью триплетов и никоим образом не затрагивает семантики описываемых данных. RDF не предоставляет никаких терминов для описания классов вещей из реального мира и того, как они соотносятся друг с другом. Для выражения семантики используются словари, таксономии и онтологии, которые задаются с использованием языков RDFS (RDF Vocabulary Description Language, более известный как RDF Schema) [74], SKOS (Simple Knowledge Organization System) [100] и OWL (Web Ontology Language) [113] соответственно.

SKOS представляет собой словарь иерархически организованных терминов, а RDFS и OWL являются словарями для описания концептуальных свойств в терминах классов, свойств, экземпляров классов и операций.

RDFS предназначен для описания простейших онтологий - словарей. Данные словари состоят из набора классов - rdfs:Class и их свойств – rdf:Property. Например, можно создать словарь, посвященный издательствам, и в нём описать класс «Издательство», который будет включать в себя все существующие издательства в виде членов этого класса. Также можно создать свойство «Расположено в» внутри класса «Издательство». С использованием этих терминов можно будет публиковать в виде связанных данных информацию об издательствах и о том, в каком городе они расположены.

RDFS также содержит механизмы для определения взаимоотношений между классами и свойствами:

• rdfs:subClassOf – указывает на то, что экземпляр одного класса также является экземпляром другого класса;
• rdfs:subPropertyOf – соответственно, указывает на то, что ресурс, обладающий одним свойством, также обладает и другим свойством;
• rdfs:domain – указывает на то, что любой ресурс, обладающий определенным свойством, является экземпляром одного или нескольких классов;
• rdfs:range – указывает на то, что все значения определенного свойства являются экземплярами одного или нескольких классов.

Использование вышеперечисленных механизмов позволяет получать логические следствия, которые не представлены в RDF-графе явно, но следуют из семантики. Например, если задать правило, что все издательства являются юридическими лицами, то факт существования триплета «Мир книги Литература» является «Издательством» автоматически влечет за собой утверждение, что «Мир книги Литература» является «Юридическим лицом».

OWL расширяет возможности RDFS с помощью дополнительных механизмов. В частности, можно отметить:

• owl:equivalentClass и owl:equivalentProperty, которые предоставляют механизм для определения соответствий между терминами из разных словарей, что в свою очередь ведет к увеличению интероперабельности уже существующих словарей;
• owl:inverseOf – это свойство позволяет создателю словарю задекларировать, что одно свойство является инверсией другого. Например, если в графе имеется триплет «Достоевский, Ф.М.» является автором «Преступления и наказания», то можно логически вывести триплет о том, что «Преступление и наказание» написано «Достоевским, Ф.М.». Свойство owl:inverseOf является симметричным, поэтому в указанном примере из второго триплета можно получить первый.

Возможность использования терминов из уже существующих словарей является одним из основополагающих механизмов связанных данных. В сообществе уже разработан ряд словарей, которые описывают широко распространенные понятия. По возможности надо стараться использовать уже существующие словари и онтологии. В случае же, если существующие словари не позволяют в полной мере описать предметную область, необходимо разработать новый словарь, следуя набору рекомендаций, основанных на опыте пользования связанными данными [61].

1.2 Обзор существующих решений

С использованием принципов, предложенных Тимом Бернерсом-Ли, в интернете реализуется проект открытых связанных данных (Linked Open Data - LOD) [71], целью которого является интеграция данных, информации и знаний посредством глобальных идентификаторов ресурсов URI и моделью данных RDF. LOD представляет собой гигантский глобальный граф, состоящий из миллиардов RDF-триплетов. Эти триплеты содержат информацию из различных областей человеческого знания, в том числе библиографические сведения.

Среди основных поставщиков библиографических данных в LOD можно выделить европейский проект интеграции информации о культурных ценностях библиотек, архивов и музеев Europeana, проект, осуществляемый в Америке Библиотекой Конгресса, а также российский проект Академии Наук по созданию Единого Научного Информационного Пространства. Далее в этой главе будут проанализированы словари, использующиеся в перечисленных проектах, на предмет возможного заимствования терминов.

1.2.1 Europeana

Europeana – это крупнейший в Европе проект по созданию цифровой библиотеки, который позволяет осуществлять поиск и получать информацию об объектах, представляющих культурную ценность, из различных архивов, библиотек, музеев, галерей. На конец 2014 года в Europeana было представлено более 36 миллионов объектов, поставщиками которых стали более 3000 организаций из 35 различных стран Европы [156].

В 2009 году внутри Europeana начались работы по обогащению метаданных и созданию связей в соответствии с принципами LOD как между элементами самой Europeana, так и с другими ресурсами LOD [88]. Поскольку Europeana собирает информацию из различных источников, то теоретически для одних и тех же объектов, например, имен или географических названий, имеются различные описания, которые дополняют и обогащают друг друга. Публикация этих данных в LOD делает возможным получение доступа к этим сведениям: люди и автоматические программы могут использовать эти данные, копировать, скачивать и распространять их.

Для того, чтобы данные из Europeana были опубликованы, поставщики обязаны сопровождать эти данные описаниями, которые соответствовали единой модели – Europeana’s Semantic Elements (ESE). За основу ESE был взят cловарь Dublin Core Metadata Initiative (DCMI) Metadata Terms [84], который был дополнен 14 элементами, необходимыми для нужд Europeana. В Таблице №2 приведены элементы словаря ESE. Полное описание элементов ESE приведено в Приложении А.