先日、生活に字幕を導入する方法を知ったので試してみます。
生活に字幕を導入する
早速導入していきます。具体的にはこの記事に従って進めていきます。
用意するのはXREAL AirとXREAL Beam、AirとBeamを繋ぐUSBケーブルのセット、スマンホホ。
まず、スマンホホとBeamの両方にXRAI Glassのアプリをダウンロード。アプリは次のリンクからアプリストアにとべる。android版/iOS版/Beam用
次に、スマホアプリでログイン/サインイン。ソーシャルログインで簡単にアカウントへのログイン/新規作成が出来る。
ログイン後、アイコンをタップすうとメニューが出るのでそこから設定を開く。そして一番下までスクロールして「XRAIアプリペアリングを有効にする」を有効にする
有効にして最初の画面に戻るとアイコンの左にボタンが増えるのでそこをタップするとペアリングするデバイスを探すことが出来る。そこで、XREAL Beamを選択しXREAL Beamの方のXRAI Glassアプリを開くと6ケタのペアリングコードが表示されているので入力する。(一定時間で勝手にペアリングコードは変化するみたいなので注意)
ペアリングコードを入力すればペアリング成功！これで生活に字幕を導入できました！
実際に使ってみる
まず、日本語の字幕をテストする為に独り言を適当に言うと結構正確に文字起こしされて目の前に表示された。速さも思ったより早く想像以上の性能だった
次に、英語の字幕をテストする為に適当に英語のコンテンツとしてTEDを開き一番上に出てきた動画を再生してみました。するとたまに僕が独り言を言うと文字起こしされるのにTEDの登壇者の発言が全く文字起こしされない。そこで設定を確認したら「話し言葉」という設定項目があり、日本語のみが設定されていました。これは最初スマンホホにアプリを入れ初回のログインをした後に僕が適当にスキップした設定で話し言葉で認識し文字起こしの対象とする言語を、字幕言語で認識した言語を文字起こしする際の言語を設定出来るようです。
話し言葉に英語を追加した結果、問題無く文字起こしがされるようになりました。英語を認識するようになったのでそのままテストを再開したところ、字幕言語を日本語に設定していたので自動的に日本語へ翻訳した字幕を表示してくれましたが、表示中に文章が変化したり、そもそもの翻訳の精度が微妙でそのままの英文が出た方が体験的にも意味の理解的にも良さそうでした。
まだ試していないですが、ChatGPTのAPIキーを登録することでより高度な翻訳が可能になったり、課金することで機能が増えるらしいので今後気が向いたら試してみようと思います。
まとめ
導入自体は楽
文字起こしの精度はそんなに悪くなさそう
翻訳はまだまだ感
とりあえず英語のカンファレンスとかで実際に使ってみます