アイデア

AtCoder関連（競プロ関連）のツイートのみにフィルタリングした版の atcoder-tl.com を作る
atcoder-tl.com/filtered とかのURLで。
競プロ情報をしっかり集めたい人用。

v1

ロジック：
気合で1000件くらい手動クラスタリングして教師データを作って、
xgboostかなにかに乗せればそれっぽい雰囲気の初期版が作れそう

Web：
今のList埋め込みHTMLでは無理なので、裏でListのタイムラインをAPIで定期的に引っ張ってくる必要がある。
その後フィルタをかけて、UIを再現して表示。

TODO:

• APIの利用制限と、実際にAtCoder等コンテスト直後に来るTweet数を鑑みて、耐えられるのか確認

v2

ロジック：実際にフィルタリングした版の atcoder-tl.com/filtered を見てもらい、そのツイートが競プロのものなのかそうでないのかを投稿できるボタンを用意する。
この投稿から、定期的にtrainし直して精度を上げる

課題

• いい加減手動運用は厳しいのでサーバ上でcron稼働させたい。
• 基本的にコンテスト終了直後に更新するのがもっともサービスとして望ましい（盛り上がる）
• ただしコンテストの日程までトラッキングするのはちょっとめんどくさい
• また、コンテスト直後にサーバ負荷をかけるのはちょっと失礼
• 「最後に参加した日」を取得する必要があるので、結局全ユーザページを見る必要がある。

解決策

• 毎週固定の日程で全リスト更新を行う
• 土日にコンテストが開催されるので、日曜夜からリスト更新を行う
• 日曜のコンテストの終了時刻がコンテストによって変わる。（でもABCオンリーなら必ず23時には終わる。）
• できるだけアクティブなAtCodererが起きている時間に更新したい。
• 水以上の更新に1時間くらい、緑の更新に2時間くらい、灰のみの更新に10時間くらいかかる。
• →　毎週日曜の23時から、灰→緑→ ... →赤の順で更新する

今は日本の全ユーザ5万人をクロールしているので、更新にだいたい5万秒 = 13時間かかる。
参加者のみであれば、ABCでも1万人程度のため、�更新時間が1/5速程度にはなる

いつかやる。

以下のどちらか。

• 別で各色リストを作る
• リストは現在あるものを使う。各ユーザをレートの高い方のリストに入れる

AtCoderのWebページに登録しているTwitter IDと実際のTwitterのscreen_nameで大文字小文字のみのズレがある場合に挙動が不安定になる問題

atcoder_tl_latestみたいにして、最新のコンテスト参加者のリストをコンテスト中に生成しておくと、コンテスト終了後に楽しい。

課題

• コンテスト中のクロールはよくない
• 順位表のページのクロールが難しいかも？