SharePoint に大容量のデータを投入する際の運用ノウハウ

私の環境におけるMOSS運用ノウハウです。
大量のデータを、一度に SharePoint サイトに新規投入すると、直後のクロールでインデックスサーバに大きな負荷かります(まあ当然といえば当然ですが)サーバの性能次第(おそらくメモリ容量)ではありますが、連続してクロールに失敗したりします。

しかし、ちょっとした工夫で、この負荷を激減させることが可能(なよう)です。

シナリオとしては、例えば他システムから MOSS へデータを移行する(ノーツ移行とか)場合や、あるいは MOSS 内で、巨大なリスト/ライブラリをサイトを跨いでエクスポート→インポートした場合などが該当します。

このとき、いきなりリスト/ライブラリを新規作成してデータを投入したり、インポートしてはいけません

その前に、リスト/ライブラリを新規作成し、ダミーのアイテム/ファイルを登録しておくのです。そして一度、増分クロールを走らせます。その後で、このリスト/ライブラリに、データを投入します。

すると、その後の初回クロールにかかる負荷が、最低限ですむようです。

何故かは全く判りません(笑)あくまで経験則です。

アーチテクトな方がいらっしゃいましら、是非、理論的に解説して頂けると嬉しいな…。


これまでのコメント

  1. ono より:

    AGENT: Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.1) Gecko/20090624 Firefox/3.5 (.NET CLR 3.5.30729)
    たぶん、Notes等からデータを取り込んだ場合、管理プロパティ/クロール プロパティが更新されるためでは無いでしょうか?

    クロールログには、タイムアウトと表\示されるのでしょうか?
    タイムアウトであれば、Web.Config内にTimeout設定があり、その設定を延ばせばタイムアウトになるまでの時間は延長されます。

    ただ、タイムアウトの場合、パフォーマンスが不足しておりますので、インデックスサーバ専用機であれば、インデクサのパフォーマンス設定を最大にすることをお勧めします。
    CPUは、100%近くになりますが、メモリは、4GB搭載していても2GBしか利用されません。

  2. saruhiko より:

    AGENT: *Internet Explorer
    ono様、ご教授ありがとうございます!
    今度、テスト環境にわざと大容量データを登録して、パフォーマンスとログをチェックしてみます。。
    サーバ保守担当SEさんには嫌がられそうですが(苦笑)

login

Author

中村 和彦(シンプレッソ・コンサルティング株式会社 代表)が「ユーザ視点の SharePoint 情報」を発信します。元大手製造業 SharePoint 運用担当。現SharePoint コンサルタント。お仕事のお問い合わせはこちらまでお願いします。当ブログにおける発信内容は個人に帰属し所属組織の公式発信/見解ではありません。
FB : 中村 和彦
blog: Be・Better!
MS MVP SharePoint 2009/10-2011/9
MS MVP Office 365 2012/10-2014/9