codelibs / fess Goto Github PK

ジョブでログを取得するためには0以外の終了コードが必要。

file:のときしか処理されない。

セッションが有効な場合だけ、利用者情報を保存する。

コミットはデフォルトでexpungeDeletes=trueが良い。

セッション情報に基づいて、期限切れドキュメントを削除しているが、ドキュメント自体に期限情報を付加して、delete by queryにより削除するように変更する。

ジョブを指定して停止したい。

検索画面でドキュメントへのアクセスはURLをベースにドキュメントを
特定して扱っているが、docIdで検索画面とのやりとりを行う。
URLだけでのやりとりは、

• URLが長い場合にGETのリクエストでは処理できない
• #18 はURLではなく、Solr上のドキュメント情報が必要。
  あたりの解決が困難なので、docIdでSolrに引きに行く。

デフォルトの構成ではSolr側などをいろいろ設定しないと動かない。
Solr側の変更をなしに動作させる。

#18 に対応するためにはクロール設定の情報でS2RobotClientFactoryを初期化可能にする必要がある。

ジョブ管理などは上の方にあった方が便利。

現状、Javaアプレットでコンテンツをクライアントに直接開かせているが、Fessサーバでプロキシしてコンテンツを返すのをデフォルトで用意する。

クロールセッション情報でドキュメントを削除しないで良いと思われる。

FileListDataStoreでsmb用ポートが指定しない場合にWARNのログが出力される。

データストアクロールの場合にもクリック数フィールドをドキュメントに追加する

クロール中にインデクシングされたデータはS2Robot上で
削除されるので、UrlQueueから情報を取得する必要がある。

クロールやパージなどのジョブをスケジュール管理できるようにする。

ついでにデフォルトのジョブ名もわかりやすくしたほうが良いかも。

ウェブやファイルクロールと同じように設定情報をデータストアの設定から渡せるようにする。

finallyでジョブを必ず終了状態にする。

依存ライブラリ更新作業。

https://sourceforge.jp/forum/forum.php?forum_id=18580&thread_id=34682

• クロール対象とするパス
• クロール対象から除外するパス
  となっているが、クロールは不要。

オブジェクトをエスケープする形にする。

Solrのフィールド名が散在しているので、FieldHelperを作成してそこから取得できるようにする。

• clickCount_i
• favoriteCount_i
• screenshot_s_s
• cid_s_s
• expires_dt
  などのダイナミックフィールドで扱っているものが対象。

#18 を対応するためにはSolrのドキュメント内にクロール設定の情報を保持しておく必要があるため。

未完了の状態の時はエラーになるのでクロールをクロールを開始しない。

クリック数と同様。

レスポンスレッダーにno-cacheを指定する。

現状、検索ログが有効かどうかで表示されるが、
注目キーワード応答の設定で注目キーワードの表示を制御する。

URL_QUEUEテーブルにENCODINGカラムが追加されている。

ラベルがない場合は検索結果のファセットにラベルを表示しない。

より高度なサジェストを実現する。

H2を利用していると、Tomcatのシャットダウンでクロールプロセスのシャットダウンより先に停止してしまい、正常にシャットダウンができないと思われる。

現状、0件の場合は表示していないので、0件のデータは不要。

ジョブ開始したら、ジョブログに実行中と記述する。

quartz.propertiesを追加する。

管理画面の詳細ページにクロール設定のIDを表示する。
ジョブでのクロール設定を指定する際に必要。

INFOよりDEBUGで出したほうが良いログとかあるので見直す。

現状は検索ログをDBに出力しているが、Elasticsearchなどにも出力できるようにしたい。

9.0のリリース前にorigi以下のJSPの更新をする。

WebApiManagerでリクエストの属性にフラグを立てて、〜Api実行メソッドではフラグがなければindexにリダイレクトする。

nullが引数として渡されてしまう。

Solrに反映するためにクリック数とお気に入り数が更新されている場合はクロールをスキップしない。

docIdの追加に合わせて、利用しないフィールドなどを削除する。

TransformerにセッションIDが渡っていない。

XML的にはそれが正しかった気がする。
DateをtoString()されている感じがする。

DB内のデータがhouryになっている。

様々なレンスポンス形式をサポートできるようにXML/jsonなどの出力方法を見直す。

CrawlJobでセッションIDを渡せれば対応できそう。

file:でのアクセスをFessがプロキシしてコンテンツを中継する機能を追加する。
コンテンツを直接編集したい場合は、引き続きJavaアプレット版を利用する必要がある。