5万件の履歴書から最適な候補者をどう見つけるか？

Atollonはプラハの老舗ERPソフトウェア企業で、クライアントの5万件超の履歴書データベースから最適な候補者を見つけられるツールの開発を依頼されました。それまでは、事実上スマートな探し方がありませんでした。フォーマットも構造もバラバラな何千もの履歴書では、単純なキーワード検索でも足りないことがあります。あらゆる履歴書に対応し、候補者を構造化して概観できる堅牢な仕組みが必要でした。

最初の課題は、ドキュメントからデータを抽出し、統一された構造化フォーマットに落とすことでした。奇妙なPDFでも読めるOCRが必要です。調査とテストの末、unstructured.ioを採用しました。テストで最も良い結果で、オープンソースでもあるため自社サーバーにホストしてデータ漏えいを防げます。抽出後はセマンティック検索できるようベクトル化もします。

次は検索エンジンです。候補者を正しく並べるため、セマンティック検索と構造化フィルター（BM25）を組み合わせました。セマンティック検索でクエリに合う候補を見つけ、構造化フィルターで絞り込みます。実は抽出工程にはもう一段あります。テキスト抽出とベクトル化に加え、スキル・学歴・職歴の統一フォーマットも作り、AIが履歴書テキストをその形式にマッピングし、短い候補者サマリーも生成します。これがあって初めてピーク性能に達しました。

このツールのおかげで、Atollonのクライアントは自然言語で簡単に検索できます。たとえば"フィンテックで10年以上の経験があり、MITのCS学位を持つシニアPythonエンジニア"と検索すると、最適な候補者が良い順に並びます。何千件もの履歴書に溺れる代わりに、本当に大事な仕事に集中できるようになりました。