LATAM航空はいかにしてGrafana Cloudのリアルタイムのオブザーバビリティを活用し、顧客体験を向上させているか

旅行の計画は決して簡単なものではありません。 日程の検討、価格の比較、そして他の人に予約される前に座席や部屋を確保する必要があります。 予約用のウェブサイトやアプリに不具合があれば、事態はさらに複雑になります。

そのような事態は誰も望んでいません。 顧客へのサービス提供を目指す航空会社やホテルであればなおさらです。

5年前、南米最大級の航空会社であるLATAM航空は、毎年同社のフライトを利用する7,500万人以上の乗客のために、そうした「乱気流」を防ぐ新しい方法が必要だと決断しました。 同社は顧客のウェブサイト体験を向上させるためのデジタルトランスフォーメーションに乗り出し、顧客志向のオブザーバビリティツール、Grafana Cloudによるリアルタイムモニタリング、そしてSLO主導の運用を導入しました。

先日開催された「ObservabilityCON On the Road presentation」のプレゼンテーションにおいて、LATAM航空のクラウドおよびSRE責任者であるCarlos Hernandez氏が、どのような変更が行われたのか、そして信頼性の目標を正確に定義し管理する上でなぜSLOが不可欠なのかについて語りました。 また、その変更が顧客だけでなく、同社の開発者にとってもいかに成果をもたらしたかについても共有しました。LATAM航空のObservabilityCON on the Road でのセッションが、現在オンデマンドで視聴可能です。以下のYouTubeリンクから、セッションの全編をご覧いただけます。

複雑なシステム

LATAM航空のeビジネスグループ（商業ビジネス部門とIT組織の一部を統合して設立）は、2020年5月頃から同社のデジタル体験の刷新を開始しました。

約5ヶ月後、最初の対象国であるエクアドルにその変更を展開しました。

当時、LATAM航空はGrafana OSSと別のオブザーバビリティプロバイダーを使用しており、バックエンドチームはシステムの状態を追跡する能力に自信を持っていました。

しかし、チームメンバーの元には依然として、ウェブサイトが機能しない、あるいはアプリの読み込みに時間がかかりすぎるといったクレームのメッセージが知人から寄せられていました。

こうした小さな障害は、顧客だけでなく社内の全チームにもフラストレーションを引き起こす大きな懸念事項でした。

「問題や課題を特定する私たちの能力が非常に低く、不十分であることに気づきました」とHernandez氏は述べています。

問題の一端は、LATAM航空が500以上の異なるサービスを持つ複雑な分散システムを抱えていたことにありました。 図内のカラフルなボックスのそれぞれが異なるサービスを表し、紫色の線がそれぞれ異なるインタラクションを表しています。

平均して、ユーザーがUIのボタンをクリックしたりリンクを辿ったりするたびに、約40もの異なるサービスが呼び出されていました。

「フロントエンドのUIにおける様々なインタラクションと、エラーを引き起こしているサービスとをマッピングする方法が必要でした」とHernandez氏は語ります。

有用なツール、しかし不十分

LATAM航空は、2018年に同様の問題を抱えていたPayPalで効果を上げた概念である「FCI（Failed Customer Interaction：顧客インタラクションの失敗）」を導入しました。

LATAM航空のホームページには、地域、目的地、旅行日、乗客数を選択するオプションを備えた検索ボックスと、検索ボタンがあります。

チームは、すべてのボタンやリンクにflightselection.offers-searchやitinerary.itinerary-searchといった定義済みのアクション名を割り当てることで、顧客のインタラクションをマッピングしました。

すべてのデータが取り込まれた後、ある日のFCIツールは次のように表示されます。

右側には、障害を発生させ、特定のアクション（リンクやボタンなど）に影響を与えている様々なサービスがすべて表示されています。

左側のバーは、特定のサービスに対してどれだけの障害が発生したかを表しています。

これにより、リーダーと開発者は優先すべき問題について議論する際、全く同じ言語を使用できるようになりました。

「これはチームのダイナミクスにおける日々のやり取りや会話に大きな変化をもたらしました」とHernandez氏は述べています。

しかし、欠点もありました。

そのデータは数時間前のものであったということです。

変更したコードを本番環境にプッシュした場合、その変更がうまく機能したかどうかをダッシュボードが示すまでに数時間かかってしまっていました。

「FCIの概念を用いてチームが運用できる、かつリアルタイムに機能する何かが必要でした」と同氏は語ります。

Grafana Cloudによるリアルタイムの救済

LATAM航空が必要としていたのは、FCIのアイデアを取り入れつつも、それをメトリクス収集に基づいたものにし、より迅速な異常検知を可能にすることでした。

「この場合、すべてのデータは様々なサービスによって生成されていました」とHernandez氏は説明します。

「そして、それらすべての異なるサービスが、特定のサービスのアーティファクトで発生している『顧客インタラクションの失敗』のデータを送信していました」

Grafana Cloudに移行することで、チームは何が起きているのかをより良く、より有用な形で可視化できるようになりました。

例えば、以下のパネルでは、ユーザーが環境、期間、そして観測したいアクションを選択できます。

緑色のバーは成功したリクエスト、赤色のバーは失敗、赤色の線はその2つの比率を表しています。

例えば、二要素認証サービスのログインに変更をデプロイした場合、その変更が障害を引き起こしたかどうかをすぐに把握できます。

「巨大な赤いバーが見えたら、即座に反応してその変更をロールバックできるのです」とHernandez氏は言います。

それでも、初期の取り組みではまだ十分な情報が得られていませんでした。

どの程度の大きさの赤いバーなら許容範囲内で、どの規模なら直ちに対応が必要なのかをチームは把握していなかったのです。

「私たちにとっての次のレベルは、様々なサービスの信頼性を管理するための不可欠な手段として、実際にSLOを導入することでした」

以下はGrafana SLOダッシュボードの一部で、LATAM航空は現在、多くの異なるサービスにこれを導入しています。

このパネルにはLATAM航空のウェブサイトのリンク名（この場合はsearch-result.itinerary.itinerary-search-availability）が含まれており、サイト上のすべてのインタラクションに対して1つずつ存在しています。

ここにはSLOの時間枠、ターゲット、そしてリクエストの成功と失敗のデータが表示されます。

左側には、Critical（重大）またはWarning（警告）のアラートが発生したかどうかが表示されます。

飛躍的な成功

リアルタイムのオブザーバビリティとGrafana SLOを使用することで、LATAM航空のチームは2つの大きな恩恵を受けたとHernandez氏は述べています。

• 検知時間の改善:
  Severity 1および2のインシデントにおいて、顧客に影響を与えるインシデントが発生してからチームメンバーがその障害を検知するまでの時間が、eビジネス組織の全スクワッドにわたって約3年間で80%以上短縮されました。
  「運用の観点から見て、これは私たちが目の当たりにした最も関連性のある変化の1つです」とHernandez氏は語ります。
• ノイズとなるアラートの削減:
  午前3時に不必要に呼び出されることを望む人はいませんが、この仕組みはそれを防ぐのに役立っています。
  「チームが様々なサービスを運用するこの新しい波を取り入れ、結果として予算に基づいたアラートシステムを導入したことで、ノイズとなるアラートが60%以上削減されました」
  同氏はまた、チームがサービスをより良く運用できるようにSLOの機能を構築して提供することは素晴らしいが、UIをクリックする以上のことができる必要があると強調しました。

「単に機能を提供するだけでなく、いかにプロセスをシンプルにするかを考えなければなりません。また、それらを簡単に使ってもらうための方法も提供する必要があります」

鍵となるのは、ツール、実践手法、そしてプロセスのエコシステムを結びつけることだと言います。

現在では、開発者が自身の環境でそれにアクセスできるようになれば、リポジトリに変更をプッシュできるとHernandez氏は説明します。

そこから、「CI/CDのツールとプロセスがそのデータを取得します。CI/CDプロセスがリポジトリ上で確認した変更に応じて、Grafana APIと連携し、Grafana IRMやGrafana SLOに必要なすべての変更を加えます。これらすべてが完全に自動化され、接続されているのです」

アプリケーションに変更をデプロイする際にも同じ考え方が適用されると同氏は言います。

「アプリケーションには、チームが必要な様々なテレメトリを収集するのに役立つライブラリが組み込まれており、このデータもGrafanaスタックによって取り込まれます」

オブザーバビリティの推進

LATAM航空はインシデントの検知時間を大幅に改善しましたが、修復時間はまだ改善の余地があるとHernandez氏は述べています。

「23%の削減を達成しており、これは良いことですが、私たちにとっては十分ではありません。さらに50%削減できると信じています」

同社がさらなる改善を図るための計画の1つは、チームがメトリクス、ログ、トレース間でデータを関連付ける方法をシンプルにすることだと言います。

LATAM航空はまた、開発者のワークフローを合理化し、メトリクスからログ、トレースへと視覚的に移動しやすくし、それらのデータを視覚的に結びつけることも計画しています。

最も重要な焦点となるのはオブザーバビリティ駆動開発であり、アプリケーションの設計、構築、テスト、デプロイが始まる前、あるいはその瞬間に、アプリケーション、サービス、顧客をどのように観測するかを考えることです。

Hernandez氏は、LATAM航空の経験から得られた最大の教訓は、真のオブザーバビリティは顧客から始めなければならないということだと言います。

「顧客に焦点を当てれば、後から必要となるツール、実践手法、技術的なスタイルは自然とついてくるのです」

Grafana Cloudは、メトリクス、ログ、トレース、ダッシュボードなどを始める最も簡単な方法です。私たちは、充実した永久無料枠と、あらゆるユースケース向けのプランを用意しています。今すぐ無料でアカウントを作成しましょう！