ryusukematsumoto7c9-b-2 / ml-prompter Goto Github PK

Boltのお手軽さは無くなってしまうがしょうがない、PhotonPUNのメッセージでうまい事送信できないか試してみる

まずはローカルにある.txtファイルの中身のテキストをブラウザ側に送信するところまでを実装する

送信自体はアプリ起動後ブラウザとの接続を確立したときに一度だけ行う.

送信するテキストファイルの名前は SpakerNote.txtとする

現在開いているスライドが何かを把握したい

とりあえずバンパーボタンを押下したらネットを切断するようにして切断のイベントが来たら接続したホストに接続する

基本的にローカルのカメラの情報等は送信しない想定なので見えなくてよい

https://qiita.com/wakagomo/items/6e83019481d7cd326e72
↑この記事が参考になると思う

とりあえず透過ウィンドウが実装され、マウスの入力等が十日すればよい、ESCキーでアプリが落ちるようにしておく

無難にポインタを合わせてクリックで操作する形がいいかもしれないな
前にやった触ってやるタイプもいいけどあれはあれでミスって触った時の誤爆が怖かったりする
となるとUIの構成としては

Root
+--- 台本パネル
+--- 次へ
+--- 次へ ( スライド操作込み )

+--- 前へ
+--- 前へ ( スライド操作込み )

このUIの攻勢でいいかもしれない、スライド操作を含めない台本のみの前後は念のため準備するだけなので一回り小さいUIでもいいかもしれない

とりあえずデータストアの保存までは確認できてるNifty Cloud mobile backend service で試してみる

https://note.com/st_one/n/n7ca031642e54#v4Z1J

タイマーリセットしたら0からスタートするようにする

次ページ、前ページでスピーカーノートのページ切り替えができれば完了とする

もういらなくなったので削除する

音声を同期する必要はないので基本的にAudioはOffでいい

なぜかファイルがロードできない現象があるので対応する

現在ではメッセージを送った時点でのスライドのスクショが送信される、一定時間ディレイを持たせ次のスライドになったときのスクショを送信するようにする

ひとまず

• トリガー : 1
• バンパー : 2

の値を送信することとする

ホームボタンを押下したらアプリが閉じるようにする

次スライド、前スライド

この操作がMagicLeap側から行えるようにする

MagicLeap側だけでなくローカルサーバ側の開発も行う

完了条件

MagicLeapで 次スライド、前スライドのボタンを押下するとPC側のスライドが前後に移動する

なんでかわからんが本番で利用しようとしていたノートPCだとスクリーンショットがMagicLeap側に送信されていない

送信されていないというよりスクリーンショット自体がなんか撮影出来てない、もしかしたらスクショ -> 圧縮あたりでエラーが出てる?

さすがに二色だときつかったので3色くらいで送信するようにする

実装する機能としては以下の二つ

1. スピーカーノート
2. 経過時間表示タイマー

ホームボタンを押下したらアプリが終了するようにする

ハンドトラッキングが行えるようにする ml-hand-uiを参考にハンドジェスチャを取り入れる

必要なのはPC側の画面情報だけなのでMagicLeap側から動画、音声を送信しないようにする

コントローラのジェスチャだとたまに動かないときがあるからコントローラそのもので当たり判定をとる

今のところGoogleSlideを想定しているからWANにつながってるネットワークでいいけどWANにつながってない状態で操作できたほうが良い( パワポでLANのみで運用とか考えると...

いつかやる

まずはMagicLeapWebRTCのプロジェクトを変更しやすいようにリファクタリングを行う
一応このプロジェクトで使わないであろう機能もリソースとしては残しておく( 後で軟化するときの参考にするため )