全文検索エンジン さくっと！
ＳＱＬ全文検索エンジン さくっと！は「次世代の検索エンジン」です！
0.トラブルのご報告
NCネットワーク様のサイトで、シングルコーテーションを含むキーワードで検索を行った際、デバッグ用のソースコードが表示されていた不具合について。
弊社の検索エンジンはソースフリーで提供させていただいており、SQLが分かれば自社で簡単に検索条件やソート順を追加・修正できるというメリットがございます。もちろん、ご依頼をいただければ弊社でも追加・修正はさせていただきますが、弊社ではリニューアルの実施は把握しておりませんので、テストできない状態にありました。
今回のトラブルは、NCネットワーク様でリニューアルに際し、独自に追加した機能にプリペアードステートメントを利用せず、シングルコーテーションのエスケープもできていない機能があった様です。
調査の結果、SQLインジェクションができる状況ではなかったとのこと、また、修正は完了したとのことです。
ご指摘いただいた方、ありがとうございました。また、ご心配をお掛けいたしましたことをお詫びいたします。
追加・修正を行う際は、できればご依頼ください。よろしくお願いいたします。
1.はじめに
弊社取引先のNCネットワーク様より、サイトの検索の精度を高めたいと依頼を受け、その要求を満たすため、既存の検索エンジンを調査しましたが、製造業の技術の要求する検索機能はなく、デファクトスタンダードとなっているGoogleでもほと んど対応できていないことが分かりました。そこで、NCネットワーク用の検索エンジンを独自開発し、かつ、他社に向けてライセンス提供を開始する運びとなりました。
企業の情報が高度に集積されるに伴いその情報を的確に探せるかということが非常に重要になっています。また、WEBサイトにおいては その性能により、サイト滞在時間、利用頻度に大きく関わることになります。
当社が開発した「ＳＱＬ全文検索エンジン さくっと！」は、特に日本語環境や型番検索にこだわり、開発者がカスタマイズしやすいようにＳＱＬで構築いたしました。
では、「さくっと！」の機能を他社の検索エンジンと比較しながらご説明いたします。
 |
ＤＢ上で構造化された項目による絞込みと、形態素解析、 N-Gram を組合わせた検索が可能になります。 |
 |
サイト内の情報をクロールして検索することも可能です。 タグによる重み付けも対応可能です。 |
動画検索  |
テロップ情報を全文検索して出力しています。 |
 |
住所情報から地図上にプロットしています。 |
以上のようにＳＱＬで出来ているためさまざまな出力形式の
システムを構築することが可能になります。
2. ＳＱＬ全文検索エンジン さくっと！ の主な特徴
・GoogleやYahooで採用されている辞書を使った、 分かち書き（形態素解析）による検索とn-Gramを併用して検索しています。 ・同義語を自由に追加できます。 ・型番検索に必要なハイフンや中黒の有無に関わらず柔軟に検索できます。 ・構造化されたデータにおいては、各項目ごとに重み付けを、 自由に変えることが出来ま す。 ・並べ替えのキーをカスタマイズすることが可能です。 ・データベース内の検索を得意とし、制的リンクがなくても検索できます。 |
3. 分かち書き（形態素解析）とn-Gram
Google、Yahoo の意外な欠点、その１
Google で「プラモデル」を検索
約 8,000,000件
Google で「プラモ」を検索
約 2,270,000件
Yahoo で「プラモデル」を検索
約 14,000,000件
Yahoo で「プラモ」を検索
約 6,160,000件
ＳＱＬ全文検索エンジン さくっと！
では、「プラモ」で検索した方が数は多くなります。
「プラモ」「プラモデル」を同義語登録したときは、 「プラモ」しか記載のないページも、 「プラモデル」で検索可能になります。
4. 同義語の追加
Google、Yahoo の意外な欠点、その２
「メッキ」「めっき」「鍍金」
「ネジ」「ねじ」「螺子」
「７分袖」「7分袖」
など、一般的な表記のゆれで、
検索漏れが簡単に起こってしまいます。
ＳＱＬ全文検索エンジン さくっと！では、同義語をCSVの形で簡単に登録可能です。
そのため、一般的な同義語辞書を利用することも、独自に業界用語を編集することも可能です。
同義語登録すると、全く等価として検索可能となります。
ＳＱＬ全文検索エンジン さくっと！
検索画面
5. 型番検索（記号の処理）
Google、Yahoo の意外な欠点、その３
「ディー・エヌ・エー」 （中黒あり）
「ディーエヌエー」 （なし）
「ディー エヌ エー」 （スペースあり）
で検索漏れが起きます。
ＳＱＬ全文検索エンジン さくっと！では、型番を意識した独自の記号解析を行っており、中黒やハイフン交じりの文章、型番も漏れなく検索できます。
例）「クライム・ワークス」「クライムワークス」
「クライム ワークス」
6. 型番検索（長音記号の処理）
Google、Yahoo の意外な欠点、その４
「プリンター」「プリンタ」
「ボディーソープ」「ボディソープ」
で検索漏れが起きます。
（Googleは最近対応を行いました）
ＳＱＬ全文検索エンジン さくっと！では、型番を意識した独自の記号解析を行っており、長音記号とハイフンを間違えても問題なく検索できます。
例）「レーザー」「レーザ」
「レ－ザ－」
7. Google、Yahoo の欠点から
Google、Yahoo は、必ずしも初心者向きではありません。
「プリンター」「プリンタ」、「ボディーソープ」「ボディソープ」
で検索漏れが起きることは知らない人の方が圧倒的に多いです。
「また、製品の型番で検索したとき、ハイフンの位置、あるなしを意識しないと正しい結果は得られず、正しい型番をユーザが知っていても、正しく書かれていない記事が多ければ漏れてしまいます。
「これらは、検索のパフォーマンス以上にユーザビリティに関わる重要な問題ですが、 Google、Yahoo ですら、十分な対応が出来ていないのが現状です。
次世代の検索エンジンといえます。
8. その他の特徴
並べ替えキーと重み付けの変更（カスタマイズ項目）
