Converlayのデータヘルススコアが間違っていた理由 — そして私たちがどう修正したか
Converlayのダッシュボードは、すべての加盟店にデータヘルススコアを表示します。これは「トラッキングは本当に機能しているか」という問いに一目で答えるための単一の数値です。このスコアの下には4つの指標があり、そのうちの一つ、シグナル完全性は、Converlayを利用するほぼすべてのショップに対して誤った問題を報告し続けていました。全体で確認した18,655件のチェックアウトイベントのうち、1件も一致しませんでした。データが欠けていたからではなく、チェック自体が間違った場所を見ていたからです。
Converlay v2.27.0でこれが修正されました。ヘルスチェックで「顧客識別子が見つかりません」という警告や、想定より低いスコアが表示されていた場合、その理由はこれです。すでに自動的に解決されており、お客様側での対応は必要ありません。
データヘルススコアが測定するもの
ダッシュボードのヘルスチェックは、トラッキング品質を4つの指標に分解します。パーチェス・カバレッジ（購入が広告プラットフォームに届いているか)、コンセント率（同意設定に基づいてどれだけのトラフィックがトラッキング可能か)、送信先デリバリー（ルーティングの試行が成功しているか)、そしてシグナル完全性 — 送信するイベントに、広告プラットフォームがコンバージョンを実在の人物に紐付けるために使用する、ハッシュ化されたメールや電話番号などの顧客識別子が含まれているかどうかです。
シグナル完全性が重要なのは、マッチ品質がオプションのインフラではないからです。Meta、Google、TikTokが売上を正しくキャンペーンに帰属させるか、マッチしないものとして破棄するかの分かれ目になります。ヘルスチェックレポートはこの一つの指標に総合スコアの20%を割り当てており、また何かおかしいと感じたときに加盟店が目にする「メール識別子が見つかりません」という推奨バナーにも直接反映されます。
バグの正体：もう存在しないフィールド名
シグナル完全性のクエリは、チェックアウトイベントをpayload.user_data.emとpayload.user_data.phという短縮されたフィールド名でフィルタリングしていました。しかし、Converlayのピクセルもsdkも、これらのキーの下にデータを書き込んだことは一度もありません。両方とも、完全なemailとphoneフィールドに加えて、事前ハッシュ化された識別子を必要とするプラットフォーム向けに、別のオブジェクトuser_hints_hashedにSHA-256でハッシュ化したコピーを送信しています。
この不一致により、クエリはどのショップでも、常に何も見つけられませんでした。全体で18,655件のチェックアウトイベントを確認し、識別子が見つかったのはちょうどゼロ件 — 加盟店のピクセルが実際に何を送信していたかに関わらず、signalCompletenessは常に0%に固定されていました。このゼロに固定された一つの指標だけで、それ以外は健全なデータヘルススコアを最大25ポイント押し下げることがあり、トラッキングに何の問題もないショップに対して「メール識別子が見つかりません」という推奨を発生させていました。同じバグにより、PDFヘルスチェックレポートのマッチ率も最大50ポイント過小評価されていました。このレポートは同じ指標を個別に採点しているためです。
v2.27.0での変更点
識別子チェックは、プレーンなフィールド（email、phone）とハッシュ化されたフィールド（user_hints_hashed）の両方を受け入れるようになりました。NULLIFを使用することで、空文字列が存在する空の値としてではなく、正しく「不在」として扱われます。ピクセルはイベントに顧客が紐付いていないときemail: ''を書き込みますが、以前のロジックはどちらにしても誤ってカウントしていました。要するに、このチェックは実際に使われたことのないフィールド名ではなく、実際にお客様のショップが送信しているものを探すようになったということです。
設定は不要です。この修正はすべてのショップに自動的に適用され、データヘルススコアとシグナル完全性の指標は、次回のダッシュボード読み込みまたは定期レポート時に再計算されます。
ダッシュボードで何が起こるか
シグナル完全性のスコアが上がり、「メール識別子が見つかりません」という推奨が消えた場合、それは想定通りです。ピクセルはずっと正しく識別子を送信していたにもかかわらず、スコアがそれを認識できていなかっただけです。シグナル完全性がスコアを引き下げていた場合、全体のデータヘルススコアが大きく上昇することがあります。
この修正の後もシグナル完全性が低いままである場合は、それは今や対応する価値のある本物のシグナルです。ショップが実際にチェックアウトイベントの一部にメールや電話番号を紐付けていないことを意味しており、同意取得やチェックアウト時の情報取得フローを改善すれば、広告プラットフォームとのマッチ品質を測定可能な形で改善できます。
v2.27.0のもう一つの変更点：ストアのドメイン変更後もトラッキングが継続
同じリリースでは、もう一つの信頼性の問題も修正されています。加盟店がストアの.myshopify.comドメインを変更した場合（リブランディングやストア統合の際によくあります）、Converlayに保存されているショップレコードは古いドメインを指し続ける一方、セッショントークンは新しいドメインを持つため、認証済みの呼び出しが静かに失敗し、アプリが停止しているように見えていました。Converlayは現在、ドメイン変更を自動的に追跡し、古いドメインを記録に残すことで、既に収集済みのイベントやキャッシュされたピクセル設定が、データを失うことなく移行期間中も動作し続けるようになりました。
正確なレポートこそが製品そのもの
自身の健全性を誤って報告するトラッキングツールは、加盟店がそれを導入する唯一の理由 — コンバージョンデータを信頼できるかどうかを知ること — を損ないます。この修正は新機能を追加するものではなく、既存の数値に真実を語らせるものです。それこそがより重要なことです。
Converlayは、サーバーサイドのイベント転送を通じて、Meta、Google Analytics 4、TikTok、Pinterest、Klaviyoなどを含む26の送信先にShopifyストアを接続します。データヘルススコアは今、ピクセルが実際に送信している内容を正しく反映しています。
Shopifyアプリストアから Converlay をインストールして、ヘルスチェックスコアを確認してみてください。もしスコアが上がっていたら、その理由がこれです。