本記事はOracle Cloud Infrastructure Advent Calendar 2021 の Day 25として書いています。
k.sasakiです。2020年10月アトミテックに中途採用でジョインして、ちょうどリリースされたLoggingやLoggingAnalytics（以下LA）を検証、構築し、アップデートをウォッチしてきました。
本エントリーはリリースノートを振り返りつつ、私も1年を振り返ろうという少し長めのエントリーとなります。
*LoggingAnalyticsリリースノートといいつつ、Loggingや管理エージェント、サービスコネクタハブのリリースノートも含みます
目次
ピックアップ（2020/10〜2020/12）
| 2020年9月9日 | 管理エージェントが利用可能になりました |
| 2020年9月10日 | ロギングが利用可能になりました |
| 2020年9月10日 | LoggingAnalyticsが利用可能になりました |
| 2020年10月6日 | サービスコネクタハブが利用可能になりました |
| 2020年11月5日 | 管理エージェントに対するWindowsおよびSUSEのサポート |
| 2020年12月1日 | Oracle Linux8およびRedHat Linux8による管理エージェントのサポート |
LoggingやLAがリリースされる
2020年9月にLogging、LA、サービスコネクタハブ(以下SCH)、管理エージェントがリリースされました。この時点では、LoggingはOCIサービスではVCNのフローログとオブジェクトストレージのログとあと1つ2つ収集できたような。Loggingで取得できるサービスログが増えても、リリースノートに載ってこないんですよね。これは各サービスのアップデートの中に含まれて、Loggingのタグがつけられないからかもしれません。
SRの洗礼を受ける
OCI LoggingやOCI LoggingAnalyticsですと、前もって断りを入れてるのに返ってくるのは、OMCのLogAnalyticsについての回答でした。SRの人はOCIでLoggingやLoggingAnalyticsがリリースされたことを知らず、だれもLoggingを検証して問い合わせてる人はいないのではないかという錯覚に陥りました。
ピックアップ（2021/1〜2021/3）
| 2021年1月19日 | ロギングデータをロギング分析サービスに移動する |
| 2021年1月22日 | 1月の特徴 |
| 2021年2月10日 | Oracle CloudAgentを使用してコンピューティング インスタンスプラグインを個別に管理する |
| 2021年3月4日 | ロギング分析：Terraformのサポート |
| 2021年3月5日 | ロギング分析：MySQLデータベースのサポート |
| 2021年3月9日 | 電子メールサブスクリプションで利用できるフレンドリーなフォーマット |
| 2021年3月23日 | 日本東部（東京）、韓国中部（ソウル）、および インド西部（ムンバイ）向けの統合監視エージェントの機能強化 |
| 2021年3月29日 | Unified MonitoringAgentのエラーメッセージの影響 |
| 2021年3月31日 | ロギング分析：新機能 |
LoggingからLAへSCH経由でログの受け渡し可能に
いろいろリリースされていますが、SCHからLAへ直接ログを受け渡せるようになったのが大きいですね。 この機能がリリースされるまでは、Logging から オブジェクトストレージへLoggingの機能なり、 SCHで出力して、それをLAに取り込むという流れが必要でした。
LoggingAnalyticsとの連携が強化されたLoggingの概要
LAがMonitoringと連携してログ監視可能に
LA上でクエリを定義して、それを定期的に実行するようにスケジューリングを行い、OCI Monitoringへ連携させることができるようになりました。これによりLAでログ監視が行えるようになりました。
Loggingでのログ監視についてはAdvent Calendar 2021 2日目の@itokazu氏の記事を是非ご覧ください。
Loggingからオブジェクトストレージへログをアーカイブする機能が消える（復活済み）
Logging上ではサービスログやカスタムログの保存期間が最大6ヶ月なので、それ以上ログの保管が必要であれば、オブジェクトストレージなり外部に保存する必要があります。 各ログについて、個別に出力するオブジェクトストレージを設定できたんですが、このメニューがこの時期に消えました。(※2021/12現在この機能は再度使えるようになっています。)
SCHのサービス制限の引き上げができない(改善済み)
Loggingで収集した各サービスログ、ホストの収集を行い、種類ごとやホストごとにオブジェクトストレージへ外部保存するには、SCHの数がデフォルトの5個まででは全然足りません。 SRへSCH数の引き上げを申請するも、引き上げできないとの回答がありました。
ちなみに秋ごろSRに問い合わせをしたら、引き上げが行えるようになっていましたので、SCHが足りない問題は解消されているはずです。
ピックアップ（2021/4〜2021/6）
| 2021年4月13日 | ストリーミングソースと機能タスクがサービスコネクタで利用可能になりました |
| 2021年4月23日 | ロギング分析：Microsoft SQLServerデータベースのサポート |
| 2021年4月29日 | ロギング分析：EnterpriseManagerから エンティティモデルデータを収集するためのサポート |
| 2021年5月26日 | ロギング分析：高度な分析のための新しいクエリコマンド |
| 2021年5月28日 | ロギング分析：OCI監査ログ、VCNフローログ、およびOCIAPI ゲートウェイ用に事前に作成されたカスタマイズ可能なダッシュボード |
| 2021年5月31日 | ロギング分析：OCIメトリクスのインタラクティブメトリクス チャート作成エクスペリエンス |
| 2021年5月31日 | ロギング分析：新しい合理化されたオンボーディング |
| 2021年5月31日 | ロギング分析：ATP / ADWログ分析のサポート |
LAにダッシュボード機能が追加
LAで取り込んだOCI AuditログやOCI VCNフローログなど Logging からSCHで取り込んだOCIネイティブのログについて、Oracle定義のクエリが作成され、ダッシュボードが閲覧できるようになりました。 ダッシュボードの作り込みはユーザ側で実施するケースが多いと思いますので、イメージしやすくなったと思います。
O&M全体を取りまとめるダッシュボードなりUIが欲しい
この時期Azure案件にがっちりアサインされてました。OCIでLoggingだのLAだの触れてたのでAzureのLog周りの機能に自然に目がいきます。
AzureMonitorという監視機能にLogAnalyticsが連携されていて、ログの収集、ログの長期保管、ログの分析などログについての要件に合わせて構成できる点がOCIに比べて良いと思いました。
OCIの場合は完全に機能が分かれてしまっているので、UI上はまとまった形で提供されるのは優しいですね。
ピックアップ（2021/7〜2021/9）
| 2021年7月1日 | Logging Analytics：すべてのLoggingAnalyticsページの状況 依存ヘルプとドキュメント |
| 2021年7月8日 | ロギング分析：取り込みの問題をトラブルシューティング するための新しいサービスメトリック |
| 2021年7月8日 | ロギング分析：CSVルックアップを使用した取り込み時のログの強化のサポート |
| 2021年7月10日 | ロギング分析：簡素化されたリソース作成エクスペリエンス |
| 2021年7月14日 | ロギング分析：EnterpriseManagerから収集された エンティティモデルデータの自動マッピング |
| 2021年7月18日 | ロギング分析：辞書ルックアップの機能強化（範囲演算子、CIDRMATCH） |
| 2021年7月18日 | 新しいロギング分析機能：レポートの機能強化、比較、Addfieldsスタックチャート |
| 2021年8月17日 | 管理エージェント：Oracle CloudAgentプラグイン |
| 2021年8月31日 | ロギング分析：スコープフィルターでエンティティをより高速に検索 |
| 2021年8月31日 | ロギング分析：ログを取り込むためのFluentdサポート |
| 2021年9月21日 | ロギング分析：ジオロケーションフィールドエンリッチメント |
管理エージェントがインスタンスデプロイ時にインストール可能に
Loggingでホストのログを収集する機能は既にOracle Cloud Agentのプラグインとなっており、インスタンスのデプロイ時に有効になっていましたが、LAで使用する管理エージェントは個別にインストールして、構成ファイルを読み込み〜という形でセットアップする必要がありました。
Oracle Cloud Agentで管理エージェントのデプロイができるようになりました
監視設計したり、Mackerelに感動したり
AzureのプロジェクトやOCIのプロジェクトで監視対象とするプロセスを探ったり、ログ監視をする際のエラー文言を精査したり、監視全般について考える期間でしたね。オライリーの「入門 監視」を引っ張り出しつつ対応していました。
また、別案件でMackerelを導入するケースもあって、MackerelのUIのシンプルで使いやすい感じと、エラー時の通知メールのリッチさと、フリーで5台まで監視できる手軽さに衝撃を受けました。
ピックアップ（2021/10〜2021/12）
| 2021年10月6日 | 管理エージェントの新しいリリース |
| 2021年10月11日 | ロギング分析：CSV、TSVファイルのパーサーを作成する |
| 2021年10月20日 | より多くのロギング分析リソースに対するTerraformのサポート |
| 2021年10月20日 | ロギング分析：新しい主要なユーザー支援の機能強化 |
| 2021年11月30日 | ManagementAgentがOracleSolarisをサポートするようになりました |
| 2021年12月8日 | ロギング分析：新機能と拡張機能 |
| 2021年12月8日 | ロギング分析：RegExパーサービルダーの エクスペリエンスとワークフロー |
| 2021年12月8日 | ロギング分析：トポロジビューアーを使用したエンティティ構成の表示 |
| 2021年12月8日 | ロギング分析：ロケーションベースのログデータを 分析するためのインタラクティブなGeoMapVizualization |
| 2021年12月14日 | ログをメトリックとしてOCI監視サービスに送信するときに、 OCIログデータからディメンションを作成します |
| 2021年12月17日 | 管理エージェントの新しいリリース |
管理エージェントが自動アップデート可能に
管理エージェントが自動アップデートできるようになりました。個別にアップデートするの大変だったんです。
LAにユーザ支援機能が複数追加
10月20日のリリースで取り込みウィザードがついたり、ログのサンプルデータがついたり。その後もRegExパーサビルダーがついたり、検索結果のビューが追加されたりと、コア機能というよりはよりユーザフレンドリーに、より高機能にというアップデートが多かったです。
管理エージェントのLog4j対応版がリリース
管理エージェントもプロダクトとして対処が必要なプロダクトとなっています。
12月17日のリリースはlog4j(2.16)対応のリリースです。リリース情報がまだないですが、12月21日にlog4j(2.17)に対応した管理エージェントもリリースされています。
LAにCSVパーサがリリースされる
LAにCSVやTSVパーサが実装されました。
既存の正規表現のパーサを置き換えようとしてみましたが、 csv上、日付と時間のフィールドが分かれており、これをパースする際に1つの日時フィールドにできず断念。
正規表現だと{TIMEDATE}というマクロ表現が使用できてこれでよしなに1フィールドにまとめてくれたので結局正規表現にしました。
おわりに
トラブルになったことってよく覚えていますね。これが大事なんでしょうね。
もともと運用の高度化についてはオペレーションを担当していたので興味があったので、ログや監視といった部分に早々に触れられてありがたかったです。
来年はまだまだ現役のOMCやAWSの監視などにも触れていきたいですね。
最後までご覧いただきありがとうございました。
それではみなさん良いお年を！