Glean クラウドの監視機能を拡張する方法

Glean シングルテナントモデル（すべてのお客様に専用の GCP プロジェクトを提供する）を使用してサービスを展開し、可能な限り最高のセキュリティエクスペリエンスを提供します。しかし、私たちが直面している大きな課題の1つは、顧客ベースの拡大に合わせて複数のGCPプロジェクトを監視および運用することです。別々の GCP プロジェクトで複数のアラートが同時に発生することがあり、管理が困難になります。

グーグルの エラー報告 同じ問題に直面しています。同じアプリケーション例外が複数のGCPプロジェクトで同時に発生する可能性があります。この投稿では、通知ディスパッチャーツールを使用してクラウドでの監視機能を拡張する方法について説明します。

主な課題

複数の GCP プロジェクトを効果的に管理するには、すべての GCP プロジェクトのアラート通知とアプリケーション例外をグローバルに把握する必要があります。これにより、生産上の問題が世界中にどの程度広がっているかを把握でき、生産上の問題を効率的に優先順位付けすることができます。

クラウド監視アラート さまざまなタイプの通知チャネルをサポートしていますが、Jira はサポートされていません。通知ディスパッチャーツールが開発されたとき、エラー報告は通知をサポートしていませんでした。GGlean は検索指向の企業であるため、これらの重要な GCP プロダクション関連サービスを Jira などの他の SaaS アプリケーションに接続したいと考えています。さらに重要なのは、情報を検索可能にし、解決策を共有可能な知識に変えたいと考えています。

さらに、複数のプロジェクトで同じ問題を一緒に管理できるようにするために、自社開発した機能を多数開発しています。

通知ディスパッチャーツールの紹介

通知ディスパッチャーは次の場所にある内部ツールです Glean GCP アラート通知とエラー報告エラーを管理するためのものです。通知元としてクラウドモニタリングとエラー報告と統合され、通知先としてSlack、Jira、OpsGenieと統合されています。

このツールにはいくつかのコンポーネントがあります。

• エラー報告クローラ: 送信を行うアプリエンジンフレックスサービス エラー報告 API すべての GCP プロジェクトからのクロールエラーを呼び出します。エラー報告 API に従うには クォータでは、App Engine タスクキューを使用してエラーを一括でクロールします。
• アラート通知受信者: PubSub チャンネルでアラート通知を監視する App Engine フレックスサービスとして実装されています。すべてのアラートポリシーには、通知チャネルとしてPubSubチャネルが追加されています。
• 通知ポリシールール: Glean のエンジニアがアラートインシデントまたはエラーを照合する方法を指定し、どのSaaSアプリケーションに転送するかを指定できるテキストプロトファイル。
• 州データベース: 収集されたアラートインシデント、エラー報告エラー、およびそれらのディスパッチ状態を保存する Cloud SQL データベース。
• 通知ディスパッチャー: すべての通知を処理し、通知ポリシールールに従ってディスパッチする実行エンジン。エラー報告クローラーとアラート通知レシーバー Flex サービスの両方にコンパイルされる共有クライアントライブラリとして実装されています。

高度な機能

クラウドでの運用を拡張できる優れた機能を他にもいくつか構築しました。

• Jira インテグレーション: Glean エンジニアはこのツールを使用して、アラートインシデントやエラー報告エラーを受け取ったときに、どの Jira コンポーネントと Jira 優先度を新しい Jira の作成に使用するかを指定できます。Glean Jira インスタンスのインデックスを作成すると、すべてのアラートインシデントとエラーが検索可能になります。
• インシデントとエラーの重複排除: 通知マッチングルールは非常に柔軟で、正規表現をサポートしているため、Gleanのエンジニアは、エンジニアチームに迷惑をかけることなく、同じアラートインシデントやエラーを重複排除できます。これは、ページストームが発生したり、同じ問題が複数のプロジェクトで同時に発生した場合に特に重要です。‍
• 通知サイレンス: この機能は GCP が導入される前に開発されました 通知スヌーズ プレGA機能。さらに、Glean のエンジニアはアラートインシデントラベルでアラートをサイレンスしたり、プロジェクト全体のアラートをサイレントにしたりすることもできます。‍
• 通知頻度制御: Glean のエンジニアは、指定した通知先への更新情報を受け取る頻度を指定できます。これにより、アラートが頻繁に更新を生成するのを防ぐことができます。‍
• 通知抑制: この機能は通常、重要度の高いアラートインシデントが発生した場合に使用されます。重要度の低いアラートを抑制したいと考えています。‍
• 通知自動エスカレーション: Glean のエンジニアは、指定された基準が満たされた場合に、この機能を使用して OpsGenie または Jira の優先順位を上げることができます。これは通常、問題が広範囲に広がっていることを意味し、早急な対応が必要です。‍
• エラーグループ化: GCP エラー報告と同様のエラーフィンガープリントを導入しました グループ化されたエラー。この便利な手法により、複数のプロジェクトにわたって GCP エラーをグループ化できます。さらに、Glean のエンジニアは、通知ポリシールールを使用して、すべてのプログラミング言語で例外メッセージ、フレーム、またはスタックトレースごとにエラーを照合できます。

テイクアウェイ

通知ディスパッチャーツールは発売以来、私たちの生産性を劇的に向上させました。これにより、エンジニアはすべてのGCPプロジェクトから得た生産シグナルを統合し、生産上の重要な問題に集中できるようになります。これらの通知が Jira または Slack に転送されると、エンジニアは次のことができるようになります。 Glean 情報を集め、解決策や議論を知識に変えましょう。

クラウドでの事業のスケーリングを実際に体験したい場合は、こちらをご覧ください キャリアページ — またはスケジュールa デモ Glean ために何ができるかを発見してください。