こんにちは!y.kataokaです!
Oracle Cloud の Base Database(以下、BaseDB)で Data Pump を利用する際、一度ローカルディスクにダンプファイルを出力してから、Object Storage に転送することが多いのではないでしょうか。
実は Data Pump のエクスポート(expdp)では、ダンプファイルの出力先に Object Storage の URL を直接指定できます。
今回は、この方法を BaseDB 26ai の環境で試してみましたので、手順と、試してみて気になった点をご紹介します。
目次
はじめに
Data Pump は、Oracle Database に標準で搭載されているデータ移行・バックアップ用のユーティリティです。
expdp(エクスポート)・impdp(インポート)コマンドで、スキーマやテーブル単位のデータをダンプファイルとして出力・取り込みできます。
BaseDB でダンプファイルを Object Storage に保存する場合、これまでは主に次の2つの方法が使われてきました。
今回ご紹介するのは、expdp の CREDENTIAL パラメータを使い、dumpfile に Object Storage の URL を指定して直接エクスポートする方法です。
初期セットアップが済めば、ローカルディスクの容量やマウントの構成を気にせずにエクスポートできます。
この機能は Oracle Database 21c で追加されたもので、19c の expdp では使えません(詳しくは本記事後半の「19cではData Pumpの直接エクスポートができない?!」でご紹介します)。
なお、Oracle 公式ドキュメント(21c 新機能ガイド)では、Object Storage への読み書きはローカルディスクより遅いものの、手順はシンプルになると説明されています。速さよりも、手間と容量を減らすための方法と考えるとよさそうです。
構成イメージ
全体の流れは次のとおりです。
ダンプファイルは Object Storage に直接出力され、ローカルにはログファイルだけが残ります。
DB から Object Storage にアクセスするための準備(DBMS_CLOUD の導入〜CREDENTIAL の作成)は、初期セットアップとして一度だけ行います。
前提
この記事を進めるにあたって、以下の環境が準備できていることを前提とします。
- BaseDB:26ai(23.7 以降)が作成済みであること(今回は 23.26.4、Standard Edition で確認)
- Object Storage:エクスポート先のバケットが作成済みであること
- ネットワーク:DBサーバーのサブネットから Object Storage に通信できること(Service Gateway または NAT Gateway への経路と、外向きの TCP 443 の許可)
- Oracle Cloud のユーザー:認証トークンを発行できること
💡 ポイント
以降の作業は、DBサーバーに opc ユーザーでログインし、sudo su - oracle で oracle ユーザーに切り替えてから行います。
初期セットアップ(手順1〜9)
DB から Object Storage にアクセスするための準備です。
Oracle Japan のチュートリアル「202:DBMS_CLOUDを使ってObject StorageのデータをBaseDBから参照しよう」をベースにしていますが、26ai では DBMS_CLOUD のインストール方法が 19c・21c と異なるため、手順2は Oracle 公式ドキュメントの手順で行っています(詳しくは「26aiではDBMS_CLOUDのインストール方法が異なる」をご確認ください)。
手順が長いため折りたたんでいますが、後半の「26aiではDBMS_CLOUDのインストール方法が異なる」などでご紹介するように、チュートリアル202からの変更点も多いため、一度目を通していただくことをおすすめします。
📂 手順1〜9を表示する(クリックで展開)
手順1:事前準備
作業用のディレクトリを作成します。
$ mkdir -p /home/oracle/dbc $ mkdir -p /home/oracle/cert $ mkdir -p /opt/oracle/dcs/commonstore/wallets/ssl
チュートリアル202の設定用スクリプトをダウンロードします。
$ cd /home/oracle/dbc $ curl -LO https://oracle-japan.github.io/ocitutorials/basedb/dbcs202-dbms-cloud/dbc_aces.sql $ curl -LO https://oracle-japan.github.io/ocitutorials/basedb/dbcs202-dbms-cloud/verify_aces.sql $ curl -LO https://oracle-japan.github.io/ocitutorials/basedb/dbcs202-dbms-cloud/grant_user.sql $ curl -LO https://oracle-japan.github.io/ocitutorials/basedb/dbcs202-dbms-cloud/config_aces_for_user.sql
💡 ポイント
チュートリアル202にある dbms_cloud_install.sql はダウンロードしません。26ai では Oracle Home に同梱されているものを使います(手順2)。
続いて、証明書をダウンロードして展開します。
$ cd /home/oracle/cert $ curl -LO https://objectstorage.us-phoenix-1.oraclecloud.com/p/KB63IAuDCGhz_azOVQ07Qa_mxL3bGrFh1dtsltreRJPbmb-VwsH2aQ4Pur2ADBMA/n/adwcdemo/b/CERTS/o/dbc_certs.tar $ tar xvf dbc_certs.tar $ ls /home/oracle/cert/*.cer | wc -l
⚠️ 注意
上記は、Oracle 公式ドキュメント(Utilities Guide 26ai「Create SSL Wallet with Certificates」)に記載されているリンクです。404 になる場合は、公式ドキュメントで最新のリンクをご確認ください。
最後に、Oracle Cloud コンソールでユーザー名と認証トークンを用意します。
- Oracle Cloud コンソール右上のユーザーアイコンをクリックし、「プロファイル」でユーザー名を確認する
- 「トークンおよびキー」から「認証トークン」の「トークンの生成」をクリックする
- 表示されたトークンをコピーして保管する(再表示はできないため注意)
手順2:DBMS_CLOUDのインストール
26ai では、DBMS_CLOUD のインストール用スクリプトが Oracle Home に同梱されています。
公式ドキュメントの手順どおり、同梱の2つのスクリプトを catcon.pl で順に実行します。
$ cd /home/oracle/dbc $ $ORACLE_HOME/perl/bin/perl $ORACLE_HOME/rdbms/admin/catcon.pl -u sys -force_pdb_mode 'READ WRITE' -b catclouduser -d $ORACLE_HOME/rdbms/admin/ -l /home/oracle/dbc catclouduser.sql $ $ORACLE_HOME/perl/bin/perl $ORACLE_HOME/rdbms/admin/catcon.pl -u sys -force_pdb_mode 'READ WRITE' -b dbms_cloud_install -d $ORACLE_HOME/rdbms/admin/ -l /home/oracle/dbc dbms_cloud_install.sql
💡 ポイント
- 1つ目の
catclouduser.sqlで DBMS_CLOUD を所有するユーザー(C##CLOUD$SERVICE)を作成し、2つ目のdbms_cloud_install.sqlでパッケージをインストールします。 -u sysのようにパスワードを省略すると、実行後に SYS のパスワードの入力を求められます。
💡 ポイント
途中で「query produced 2 rows instead of expected 3 rows」と表示されることがありますが、最後に「completed successfully」と表示されていれば問題ありません。
ログにエラーがないことと、インストール結果を確認します。
$ grep -i -E "ORA-|PLS-|SP2-" /home/oracle/dbc/catclouduser*.log /home/oracle/dbc/dbms_cloud_install*.log
$ sqlplus / as sysdba
SQL> set lines 150 pages 100
SQL> col owner for a20
SQL> col object_name for a25
SQL> col object_type for a15
SQL> select con_id, owner, object_name, object_type, status from cdb_objects where object_name in ('DBMS_CLOUD','DBMS_CLOUD_CAPABILITY','DBMS_CLOUD_REQUEST') order by con_id, object_name, object_type;
手順3:Walletの作成
Wallet を作成し、手順1でダウンロードした証明書をまとめて追加します。
$ cd /opt/oracle/dcs/commonstore/wallets/ssl $ orapki wallet create -wallet . -pwd <Walletパスワード> -auto_login $ for i in /home/oracle/cert/*.cer; do orapki wallet add -wallet . -trusted_cert -cert "$i" -pwd <Walletパスワード>; done $ orapki wallet display -wallet . | head -20
💡 ポイント
- Wallet パスワードは8文字以上で、英字と数字を組み合わせてください。手順6でも同じ値を使います。
- 途中で「PKI-04003: The trusted certificate is already present」と表示されることがありますが、同じ証明書がすでに入っているという意味なので、そのまま進めて問題ありません。
手順4:sqlnet.oraの設定
$ cd $ORACLE_HOME/network/admin $ cp sqlnet.ora sqlnet.ora.bak_$(date +%Y%m%d) $ vi sqlnet.ora
末尾に以下の1行を追記します。
WALLET_LOCATION=(SOURCE=(METHOD=FILE)(METHOD_DATA=(DIRECTORY=/opt/oracle/dcs/commonstore/wallets/ssl)))
手順5:ACEの設定
dbc_aces.sql の以下の1行を編集します。
$ cd /home/oracle/dbc $ vi dbc_aces.sql 編集前: define sslwalletdir=<Set SSL Wallet Directory> 編集後: define sslwalletdir=/opt/oracle/dcs/commonstore/wallets/ssl
CDB ルートで実行し、設定を確認します。
$ sqlplus / as sysdba
SQL> @dbc_aces.sql
SQL> select property_name, property_value from database_properties where property_name in ('SSL_WALLET','HTTP_PROXY');
💡 ポイント
実行中にプロキシについて聞かれた場合、プロキシを使わない構成であれば、空欄のまま Enter で進めてください。
手順6:通信の確認
verify_aces.sql の以下の3か所を編集します。
$ vi verify_aces.sql
define sslwalletdir=<Set SSL Wallet Directory>
↓
define sslwalletdir=/opt/oracle/dcs/commonstore/wallets/ssl
define sslwalletpwd=<Set SSL Wallet password>
↓
define sslwalletpwd=<Walletパスワード>
GET_PAGE('https://objectstorage.eu-frankfurt-1.oci.customer-oci.com');
↓
GET_PAGE('https://objectstorage.<リージョン識別子>.oci.customer-oci.com');
💡 ポイント
リージョン識別子は、東京リージョンの場合は ap-tokyo-1 です。
$ sqlplus / as sysdba SQL> set verify off SQL> @verify_aces.sql
💡 ポイント
set verify offを付けると、置き換え前後の行が表示されず、Wallet パスワードが画面に表示されなくなります。- valid response が返らない場合は、まず「前提」のネットワーク(Service Gateway または NAT Gateway への経路と、外向きの TCP 443 の許可)を確認すると切り分けやすいです。
手順7:ユーザーの作成と権限付与
エクスポートを実行するユーザー(今回は USER1)を PDB に作成します。今回は確認用に、1,000行のテーブルも作成しました。
$ sqlplus / as sysdba SQL> alter session set container=<PDB名>; SQL> create user USER1 identified by "<USER1のパスワード>"; SQL> grant connect, resource to USER1; SQL> alter user USER1 quota unlimited on users; SQL> create table USER1.TEST_TBL as select level as id, 'row_' || level as name from dual connect by level <= 1000;
⚠️ 注意
BaseDB ではパスワードの複雑さチェックが有効になっているため、条件を満たさないと ORA-28003 になります(今回は「数字を2文字以上含める」で引っかかりました)。英大文字・英小文字・数字・記号を組み合わせてください。
grant_user.sql の以下の1行を編集し、PDB で実行します。
$ cd /home/oracle/dbc $ vi grant_user.sql 編集前: define username='SCOTT' 編集後: define username='USER1' $ sqlplus / as sysdba SQL> alter session set container=<PDB名>; SQL> @grant_user.sql
手順8:ユーザーへのACEの設定
手順7が DBMS_CLOUD を実行するための権限なのに対し、こちらはユーザーに HTTPS 通信を許可する設定です。役割が異なるため、両方必要です。
$ vi config_aces_for_user.sql 編集前: define clouduser=SCOTT 編集後: define clouduser=USER1 編集前: define sslwalletdir=<Set SSL Wallet Directory> 編集後: define sslwalletdir=/opt/oracle/dcs/commonstore/wallets/ssl $ sqlplus / as sysdba SQL> alter session set container=<PDB名>; SQL> @config_aces_for_user.sql
💡 ポイント
プロキシの行(<your_proxy_…>)はコメントアウトされているため、プロキシを使わない場合はそのままで問題ありません。
手順9:CREDENTIALの作成
USER1 で PDB に接続します。
$ lsnrctl status | grep -i <PDB名> $ sqlplus USER1@//localhost:1521/<PDBのサービス名>
⚠️ 注意
今回の環境では、PDB 名での接続(@<PDB名>)が ORA-12154 になったため、lsnrctl status で PDB のサービス名(「…oraclevcn.com」で終わるもの)を確認して接続しています(詳しくは「PDB名で接続できない」をご確認ください)。
CREDENTIAL を作成します。username には手順1で確認したユーザー名、password には認証トークンを指定します。
SQL> set define off SQL> BEGIN DBMS_CLOUD.CREATE_CREDENTIAL( credential_name => 'MY_CRED', username => '<Oracle Cloudのユーザー名>', password => '<認証トークン>' ); END; / SQL> set define on
💡 ポイント
- 認証トークンには記号が含まれます。「&」が含まれると SQL*Plus が置換変数として扱ってしまうため、
set define offを実行しています。 - ユーザーが Default 以外のアイデンティティ・ドメインに所属している場合は、username を「<ドメイン名>/<ユーザー名>」の形式にします。
バケットの中身を一覧して、CREDENTIAL が使えることを確認します。
SQL> select object_name from dbms_cloud.list_objects('MY_CRED', 'https://objectstorage.<リージョン識別子>.oraclecloud.com/n/<ネームスペース>/b/<バケット名>/o/');
⚠️ 注意
ORA-20401(Authorization failed)になる場合は、ユーザー名か認証トークンの入力に誤りがある可能性があります。DBMS_CLOUD.DROP_CREDENTIAL で削除してから作り直してください。
Object Storageへの直接エクスポート
初期セットアップが済んだら、いよいよエクスポートです。
ディレクトリオブジェクトの作成
ダンプファイルは Object Storage に出力されますが、ログファイルはローカルのディレクトリに出力されます。その出力先として、ディレクトリオブジェクトを作成します。
まず、OS 上に出力先のディレクトリを作成します(oracle ユーザー)。
$ mkdir -p /u01/app/oracle/dpdump
続いて、PDB でディレクトリオブジェクト(MY_DP_DIR)を作成し、USER1 に権限を付与します。
$ sqlplus / as sysdba SQL> alter session set container=<PDB名>; SQL> CREATE DIRECTORY my_dp_dir AS '/u01/app/oracle/dpdump'; SQL> GRANT READ, WRITE ON DIRECTORY my_dp_dir TO USER1;
💡 ポイント
PDB には、Oracle が用意した DATA_PUMP_DIR というディレクトリオブジェクトが最初から存在し、PDB の中から作り直すことはできません(詳しくは「DATA_PUMP_DIRはPDBの中から作り直せない」をご確認ください)。そのため、ここでは別の名前で作成しています。
エクスポートの実行
expdp で、ダンプファイルの出力先に Object Storage の URL を指定してエクスポートします。
$ expdp USER1/<USER1のパスワード>@//localhost:1521/<PDBのサービス名> \ directory=my_dp_dir \ credential=MY_CRED \ dumpfile=https://objectstorage.<リージョン識別子>.oraclecloud.com/n/<ネームスペース>/b/<バケット名>/o/direct_export%U.dmp \ logfile=direct_export.log \ schemas=USER1
⚠️ 注意
本記事は検証のため、コマンドにパスワードを直接入力しています。この形で実行すると、パスワードがシェルの履歴(history コマンドで表示される内容)に残る場合があります。実際の運用では、tnsnames.ora に PDB の接続先を登録して USER1@<接続名> の形でパスワードを省略し、実行時に入力するなど、パスワードを直接書かない方法をご検討ください。
ポイントは以下のとおりです。
| パラメータ | 説明 |
|---|---|
| credential=MY_CRED | 手順9で作成した CREDENTIAL を指定します。指定すると、dumpfile の値が Object Storage の URL として扱われます |
| dumpfile=…/o/direct_export%U.dmp | ダンプファイルの出力先です。%U は 01、02…の連番に置き換わります |
| directory=my_dp_dir | ログファイル(direct_export.log)の出力先です |
⚠️ 注意
途中の「ORA-39173: Encrypted data has been stored unencrypted in dump file set.」はエラーではなく、注意のメッセージです。BaseDB では表領域が暗号化(TDE)されていますが、ダンプファイルには暗号化されずに格納されるという意味なので、バケットの公開設定など、ダンプファイルの取り扱いにはご注意ください。
Object Storageでの確認
Oracle Cloud コンソールで「ストレージ」→「バケット」→ エクスポート先のバケットを開き、「オブジェクト」を確認します。
エクスポートの実行で dumpfile に指定した「direct_export%U.dmp」の %U が 01 に置き換わり、以下の2つが作成されていました。
- direct_export01.dmp(0バイト)
- direct_export01.dmp_segments/
direct_export01.dmp は0バイトですが、失敗しているわけではありません。direct_export01.dmp_segments/ を開くと、実際のデータ(今回は 380KiB)が格納されていました。
なお、ログファイル(direct_export.log)は、ディレクトリオブジェクトに指定したローカルのディレクトリ(/u01/app/oracle/dpdump)に出力されます。ダンプファイル本体はローカルには残りません。
気になった点・注意点
実際に試してみて気になった点を、まず表にまとめます。
| 項目 | 状況 |
|---|---|
| 26aiではDBMS_CLOUDのインストール方法が異なる | チュートリアル202(19c・21c 向け)のスクリプトではエラーになる |
| DATA_PUMP_DIRはPDBの中から作り直せない | CREATE OR REPLACE で ORA-65040 になる |
| Standard Editionではparallelが使えない | parallel を指定すると ORA-39094 になる |
| PDB名で接続できない | @<PDB名> で接続すると ORA-12154 になる |
| wgetコマンドが使えない | BaseDB のイメージに wget が入っていない |
26aiではDBMS_CLOUDのインストール方法が異なる
Oracle 公式ドキュメント(Utilities Guide 26ai「DBMS_CLOUD Family of Packages」)によると、26ai(23.7)以降は DBMS_CLOUD のインストール用スクリプトが Oracle Home に同梱されており、19c・21c とはインストール方法が異なります。
チュートリアル202の dbms_cloud_install.sql(19c・21c 向け)を 26ai で実行したところ、以下のように DBMS_CLOUD_CAPABILITY のコンパイルエラーになりました。
PLS-00201: identifier 'DBMS_CLOUD_CAPABILITY' must be declared PLS-00304: cannot compile body of 'DBMS_CLOUD_CAPABILITY' without its specification SP2-0310: unable to open file "$ORACLE_HOME/rdbms/admin/dbms_cloud_capability.sql"
公式ドキュメントの手順(Oracle Home に同梱の catclouduser.sql・dbms_cloud_install.sql を使う方法)で実施したところ、スクリプトを書き換えることなく、エラーも出ずにインストールできました。
公式ドキュメントでは、catclouduser.sql・dbms_cloud_install.sql は「変更しないこと(Do not modify this script)」とされています。書き換えて回避する方法は、Oracle が想定していない手順になるため、公式ドキュメントに則った形で行うようにしてください。
DATA_PUMP_DIRはPDBの中から作り直せない
最初は、PDB に接続した状態で、Data Pump でよく使われる DATA_PUMP_DIR を作成しようとしたところ、以下のエラーになりました。
PDB の中を確認すると、DATA_PUMP_DIR は最初から存在しており、Oracle が管理するオブジェクト(ORACLE_MAINTAINED が Y)でした。
この既存の DATA_PUMP_DIR を、PDB の中から置き換えようとしたことがエラーの原因でした。新しい名前であれば、PDB の中でもディレクトリオブジェクトを作成できます。
| 実行したコマンド(どちらも PDB で実行) | 結果 |
|---|---|
| CREATE OR REPLACE DIRECTORY data_pump_dir …(既存の名前)→ ORA-65040 | 失敗 |
| CREATE DIRECTORY my_dp_dir …(新しい名前) | 成功 |
💡 ポイント
CDB ルートで DATA_PUMP_DIR のパスを書き換える方法もありますが、ほかの PDB にも影響する可能性があるため、本記事では使用していません。
Standard Editionではparallelが使えない
expdp に parallel=2 を指定したところ、以下のエラーになりました。
ORA-39002: invalid operation ORA-39094: Parallel execution not supported in this database edition.
Data Pump の並列実行は Standard Edition では使用できないため、parallel を指定せずに実行しています。
PDB名で接続できない
今回の環境では、tnsnames.ora に PDB の接続先が登録されておらず、PDB 名で接続すると以下のエラーになりました。
ORA-12154: Cannot connect to database. Cannot find alias <PDB名> in /u01/app/oracle/product/23.0.0/dbhome_1/network/admin/tnsnames.ora.
lsnrctl status で PDB のサービス名を確認し、「//localhost:1521/<PDBのサービス名>」の形式で接続しています。
⚠️ 注意
expdp でパスワードを省略して「USER1@//localhost:1521/…」と指定すると、接続先の「/」がユーザー名とパスワードの区切りと解釈され、UDE-00002 になりました。そのため、エクスポートの実行ではパスワードを含めて指定しています(パスワードの扱いは「エクスポートの実行」の注意をご確認ください)。
wgetコマンドが使えない
BaseDB のイメージには wget が入っておらず、コマンドが見つからないエラーになります。
$ wget https://oracle-japan.github.io/ocitutorials/basedb/dbcs202-dbms-cloud/dbc_aces.sql -bash: wget: command not found
本記事の手順では、curl -LO で代用しています。
19cではData Pumpの直接エクスポートができない?!
同じ expdp コマンドを 19c の環境(Oracle Database 19c Standard Edition)で実行すると、以下のエラーになります。
ORA-39001: invalid argument value ORA-39208: Parameter KU$_FILE_TYPE_URIDUMP_FILE is invalid for EXPORT jobs.
公式ドキュメント(21c 新機能ガイド)を確認すると、expdp の dumpfile に Object Storage の URL を指定してエクスポートできるのは Oracle Database 21c からです。19c の expdp には CREDENTIAL パラメータがありません。
一方で、19c でも以下は可能です。
- DBMS_CLOUD のインストールと CREDENTIAL の作成(チュートリアル202の前提条件は「Oracle Database 19.9 以上 もしくは 21.3 以上」)
- impdp によるインポート(19c の impdp には CREDENTIAL パラメータがあり、Object Storage 上のダンプファイルを指定できます)
つまり、19c でできないのは、エクスポート(expdp)で Object Storage に直接出力することです。
今回ご紹介した方法は 21c 以降の Data Pump で使える機能で、本記事では 26ai で動作を確認しました。
まとめ
今回は、BaseDB 26ai で、Data Pump のダンプファイルを Object Storage へ直接エクスポートする方法をご紹介しました。いかがでしたでしょうか。
初期セットアップ(DBMS_CLOUD の導入〜CREDENTIAL の作成)は手順が多く、26ai ではインストール方法が 19c・21c と異なるなどの注意点もあります。ただ、ほとんどは一度設定すれば済むもので、2回目以降のエクスポートで変えるのは expdp のパラメータだけです。
ローカルディスクの容量やアップロードの手間を気にせずにダンプファイルを Object Storage に保存できるのは、運用上の大きなメリットだと感じました。
本記事が、BaseDB での Data Pump の運用の一助となれば幸いです。
参考
202:DBMS_CLOUDを使ってObject StorageのデータをBaseDBから参照しよう(Oracle Japan チュートリアル)
https://oracle-japan.github.io/ocitutorials/basedb/dbcs202-dbms-cloud/
Oracle AI Database Utilities Guide 26ai - DBMS_CLOUD Family of Packages
https://docs.oracle.com/en/database/oracle/oracle-database/26/sutil/dbms_cloud-family-packages.html
Oracle AI Database Utilities Guide 26ai - Parameters Available in Data Pump Export Command-Line Mode
Oracle Database 21c New Features Guide - Database Upgrade and Utilities
Oracle Database 19c Utilities - Oracle Data Pump Import
https://docs.oracle.com/en/database/oracle/oracle-database/19/sutil/datapump-import-utility.html
Base Database Service - Scale the DB System
https://docs.oracle.com/en/cloud/paas/base-database/scale-dbs/index.html
Oracle DBからOCIオブジェクト・ストレージへデータをエクスポートする手順(Qiita)

















