The LODEM Project - LOD for Enhancing Manga contents
LODEM (LOD for Enhancing Manga contents)とは
目的
マンガは電子書籍、投稿共有サイト、SNSなどWeb上の様々な方法で見られるようになっています。しかしこうしたWeb上のマンガは、1ページまたはいくつかのページごとに、細かな点の集まりで表現されたビットマップ画像で構成された形式で提供されることがほとんどです。そのため、検索をはじめとしたコンテンツ利用の利便性はテキスト中心のコンテンツや動画コンテンツに大きく遅れを取っています。
そこでこのプロジェクトでは、ディジタル環境でのマンガの内容に関する情報の高度な利用を実現することを目的として、マンガ画像の内容に関するメタデータ（Data about Data: データに関するデータ）の作成やそのための技術開発を進めています。具体的には、メタデータを用いることでテキスト検索やシーン検索といったマンガのコンテンツ検索が実現できます。
特徴
日本国内で既に発行されたマンガは約27万冊に及び、さらに年間1万冊以上の新刊が発行されています（いずれも文化庁・メディア芸術データベースより）。このように膨大に存在するマンガのそれぞれについて詳細なメタデータを作成するには多大な労力が必要で、極めて困難です。
マンガに関する大量のメタデータを効率よく作成するために、このプロジェクトではまずプログラムによって機械的にメタデータを作成し、その間違いを人手で直す、という二段階の方法を採り、メタデータ作成の量と品質を共に担保することを目指します。
さらに、このプロジェクトでメタデータはWeb上でコンピュータがデータを公開・共有するためのデータ形式であるLinked Open Data（リンクト・オープン・データ）として公開予定です。
テーマ1. コマのメタデータの作成
タスク1. コマ領域の正誤判定（所要時間：2秒/タスク 程度）
このタスクはコマの自動認識ツールによって、マンガ画像から抽出したコマの領域が正しいかどうかを判定するマイクロタスクです。
マンガ画像のコマの自動認識は既に様々な手法が提案されていますが、方法個々に得意・不得意があり、汎用的に使える手法はまだ普及していません。
そこでこのプロジェクトでは、まず現時点で比較的精度に優れた認識アルゴリズムを採用したコマの自動認識ツール「MangaCV」を開発しました。それを用いて認識されたコマ領域にはたくさんの間違い（誤ってコマと認識された領域）が含まれています。そこで、このマイクロタスクでは、この間違いを含んだコマ領域のデータについて、それぞれが正しいかどうかをワーカーに判定してもらうことで、正しいコマ領域のデータを作成します。
※マンガ画像は「ブラックジャックによろしく」（作 佐藤秀峰）を利用しています。
タスクを行う
タスク2. コマの読む順序（所要時間：5秒/タスク 程度）
このタスクは表示されたマンガ画像のコマの読み順序を回答するマイクロタスクです。
マンガのコマの読み順は、マンガの内容を理解して処理するために不可欠な情報です。しかしそのパターンは多様で、すべて自動的に判断することは難しいのです。一方で（マンガを普通に読める）人間であれば、多くの場合コマの読む順序を瞬時に判断し、読み進めることができます。そこで、このマイクロタスクでは、ワーカの判断によるコマの読み順序のデータを収集します。
※マンガ画像は「飛ぶ東京 切符と花束 上・下」（作 木野陽）を利用しています。
タスクを行う
テーマ2. セリフに関するメタデータの作成
タスク3. セリフと発話者の組み合わせ（所要時間：3秒/タスク 程度）
マンガのセリフと発話者の組み合わせもコマ順序同様、自動的な認識が難しいものの人間は素早く判断できるものです。このマイクロタスクでは、比較的単純なアルゴリズムで判定されたセリフとその発話者の組み合わせについて、正しいかどうかワーカに判定してもらうことでセリフと発話者の組み合わせのデータを作成します。
※マンガ画像は「飛ぶ東京 切符と花束 上・下」（作 木野陽）を利用しています。
タスクを行う
プロジェクトメンバー
- 三原鉄也（筑波大学）
- 永森光晴（筑波大学）
- 橋本大空（筑波大学）
- 石川夏樹（筑波大学）
（他，他大学・他機関を含めて調整中）
過去のプロジェクト参加者
