東京工芸大学工学研究科工学専攻博士前期課程1年の村井亮太さんが開発した、深層学習を活用した手話認識研究などに役立つ日本語指文字データベース「ub-MOJI」を公開しました。
東京工芸大学
東京工芸大学工学研究科工学専攻博士前期課程1年の村井亮太さんが開発した、深層学習を活用した手話認識研究などに役立つ日本語指文字データベース「ub-MOJI」を公開。
このデータベースは、聴覚障害者の重要なコミュニケーション手段である日本語の手話で使われている指文字をコンピュータが自動的に認識・理解する、技術の向上と発展を目的に開発されました。
この学工学研究科工学専攻博士前期課程1年の村井亮太さんが開発した、深層学習を活用した手話認識研究などに役立つ包括的な日本語指文字データベース「ub-MOJI」が公開されました。
「ub-MOJI」は、コンピュータが自動的に日本語手話(JSL)を認識・理解する技術の向上・発展を目的に開発された、日本語の指文字動画データセットです。
2025年6月から無料で公開されています。
「ub-MOJI」は、「深層学習による高精度な手話認識モデルの開発」の研究成果により開発されました。
この学の特色「工・芸融合」の一環である、工学部と芸術学部の「工・芸共同研究」により採択されたものです。
工学部と芸術学部が共同で研究を行うことにより、研究領域の幅が広がります。
この「深層学習による高精度な手話認識モデルの開発」は、工学部工学科情報学系情報コース姜有宣教授の「映像情報処理研究室」とその研究室所属の学生を中心に、芸術学部映像学科李容旭教授の「映像情報研究室」と2023年から、進められてきました。
従来、動画内の指文字の手話動作を正確に特定するためには、大量の注釈データが必要でした。
2024年に村井さんは、ub-MOJIに含まれる注釈の中から、動作を最も象徴する一瞬（点）のみを抜き出した「点レベル注釈」を用いてAIを学習させることで、少ない情報量から動作パターンを的確に学習し、効率的かつ高精度な認識モデルの構築を実現しました。
手話において高精度な動作認識は、個人差による手話の速さや単語の区切りを正確に特定することが難しいため、困難とされてきました。
地域の手話サークルの協力のもと、芸術学部映像情報研究室の学生が高解像度カメラで様々な手話動作パターンを撮影。
村井さんが、この蓄積された豊富な動画データを解析・処理することで、個人差で生じる手話動作の注釈データ認識精度の向上に成功しました。
さらに、手の関節角度情報と最新のディープラーニング技術を組み合わせることで、従来手法に比べて30％以上の性能向上を達成しています。
今回、9月23日「手話言語の国際デー」に合わせて、現在の基本音節データセットに濁音・濁音・長音のデータを追加し、データセットのバージョンアップを行います。
「ub-MOJI」を無料で一般公開することは、世の中に聴覚障害者の重要なコミュニケーション手段である指文字を知るきっかけを発信するとともに、手話通訳支援システムや聴覚障害者向けの教育ツール、リアルタイム翻訳システムなどへの応用や研究の促進・発展に寄与するものです。
また、インクルーシブ社会の実現にも大きく貢献します。
村井さんは、「今後は、各地域の手話サークルの方々と協力し、多様な手話データを収集して精度のさらなる向上を目指したい。
また、現在進めている手話認識研究に大規模言語モデル（LLM）を取り入れることで、言葉としてより自然で文脈に沿った解釈を実現する研究にも挑戦したい」と話します。
2026年、本学工学部では、学生が学ぶ時間をフレキシブルに組むことができる「つうおん(通学 + オンデマンド授業)」を開始します。
これにより、村井さんのように社会課題の解決に取り組むプロジェクト研究や課外活動にも、学部1・2年次から参加しやすくなります。