SharePoint に大容量のデータを投入する際の運用ノウハウ
私の環境におけるMOSS運用ノウハウです。
大量のデータを、一度に SharePoint サイトに新規投入すると、直後のクロールでインデックスサーバに大きな負荷かります(まあ当然といえば当然ですが)サーバの性能次第(おそらくメモリ容量)ではありますが、連続してクロールに失敗したりします。
しかし、ちょっとした工夫で、この負荷を激減させることが可能(なよう)です。
シナリオとしては、例えば他システムから MOSS へデータを移行する(ノーツ移行とか)場合や、あるいは MOSS 内で、巨大なリスト/ライブラリをサイトを跨いでエクスポート→インポートした場合などが該当します。
このとき、いきなりリスト/ライブラリを新規作成してデータを投入したり、インポートしてはいけません。
その前に、リスト/ライブラリを新規作成し、ダミーのアイテム/ファイルを登録しておくのです。そして一度、増分クロールを走らせます。その後で、このリスト/ライブラリに、データを投入します。
すると、その後の初回クロールにかかる負荷が、最低限ですむようです。
何故かは全く判りません(笑)あくまで経験則です。
アーチテクトな方がいらっしゃいましら、是非、理論的に解説して頂けると嬉しいな…。
AGENT: Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.1) Gecko/20090624 Firefox/3.5 (.NET CLR 3.5.30729)
たぶん、Notes等からデータを取り込んだ場合、管理プロパティ/クロール プロパティが更新されるためでは無いでしょうか?
クロールログには、タイムアウトと表\示されるのでしょうか?
タイムアウトであれば、Web.Config内にTimeout設定があり、その設定を延ばせばタイムアウトになるまでの時間は延長されます。
ただ、タイムアウトの場合、パフォーマンスが不足しておりますので、インデックスサーバ専用機であれば、インデクサのパフォーマンス設定を最大にすることをお勧めします。
CPUは、100%近くになりますが、メモリは、4GB搭載していても2GBしか利用されません。
AGENT: *Internet Explorer
ono様、ご教授ありがとうございます!
今度、テスト環境にわざと大容量データを登録して、パフォーマンスとログをチェックしてみます。。
サーバ保守担当SEさんには嫌がられそうですが(苦笑)