Magic ETLのタイル：DataSet

​

はじめに

Magic ETLインターフェースの［DataSet］タブには、3種類のタイルがあります。

• 入力DataSet
• 出力DataSet
• ライトバック

（実際のDataSetを表す）［入力DataSet］タイルと［出力DataSet］タイルは、すべてのMagic ETL DataFlowに必要です。少なくとも1つの入力DataSetが必要ですが、必要な数を含めることができます。DataFlowの最後には1つの出力DataSetが必要です。これはDomoカードとAppを起動するために使用できるDataSetです。

Magic ETL DataFlowを作成する方法については、こちらを参照してください。

​

DataFlowとPersonalized Data Permission（PDP）

**重要：**DataFlowの入力DataSetは、PDPポリシーで制限することはできません。利用可能なすべての行がDataFlowを経由する必要があります。つまり、PDPポリシーは、入力DataSetではなく、DataFlowの出力DataSetに適用する必要があります。

PDPポリシーが有効な状態で入力DataSetを使ってDataFlowを作成する場合は、以下の条件が少なくとも1つ満たされていないとDataFlowに不具合が発生します。

• 自分自身に「管理者」セキュリティプロフィール、または「DataFlowを管理」の許可をもつカスタマイズされた権限がある。
• そのDataSetの所有者である。
• DataSetの「全ての行」ポリシーに自分のユーザーアカウントが追加されている。これにより、DataSetのすべての行にアクセスできます。

DataFlowでPDPを使用する方法については、「PDPとDataFlow/DataFusion」を参照してください。

---

​

DataFlowに入力DataSetを追加する

DataFlowには少なくとも1つの入力DataSetが必要です。仮想DataSetはフェデレーテッドDataSetとは異なり、Magic ETLでも異なる方法で処理されます。Magic ETLへの入力として仮想DataSetを使用することはできますが、フェデレーテッドDataSetを使用することはできません。以下の手順に従います。

1. Magic ETLを開きます。

2. 左側レールの**［DataSet］**から［入力DataSet］タイルをキャンバスにドラッグします。キャンバスの下にタイルエディターが開きます。

   

3. タイルエディターで**［DataSetを選択］**を選択して、DataFlowの入力DataSetを選択します。

**注記：**Magic ETLで使用できる最大列数は1,500です。

4. **［DataSetを選択］**モーダルで、DataSetを探して選択します。複数の［入力DataSet］を追加するには、［入力DataSet］ごとに手順2～4を繰り返す必要があります。

5. （オプション）タイルエディターで**［データ］**タブに進み、入力データのプレビューを表示します。

​

［入力DataSet］タイルを設定する

**DataSetの詳細を表示する：タイルエディターの［詳細］**タブには、DataSetの名前、所有者、更新日、列名とタイプなどの情報が含まれます。

［入力DataSet］タイルを設定するには、以下の手順に従います。

1. **［入力DataSet］**タイルをキャンバスにドラッグして、タイルエディターを開きます。

2. タイルエディターで**［DataSetを選択］を選択します。表示されるモーダルで、既存のDataSetを選択するか、［新規作成］**を選択して新しいDataSetを使用します。

   

3. タイルエディターの**［設定］タブの［データ選択］**ドロップダウンで、以下のいずれかを選択します。

   
   • ［全て］（デフォルト） — DataSetからすべての行を読み込みます。
   • ［新規］ — 最後に正常に実行された後にDataSetに追加された新しい行を読み込みます。

**注記：**このオプションを選択した場合は、データ更新方法を［置き換え］ではなく［追加］に設定する必要があります。

• ［バッチでフィルター］ — 作成日または名前（パーティションの場合）にもとづいて読み込むバッチを選択できます。
  このオプションを選択すると、**［バッチでフィルター］**エリアが表示されます。

データが処理された時期とカスタマイズされた数式のどちらにもとづいてバッチにフィルターをかけるかを指定し、日付パラメーターを選択します。例：過去7日間の処理済みデータ。

4. （オプション）入力DataSetがパーティション分割されている場合は、**［パーティション列名］**フィールドを使用してパーティション名を公開できます。 5. **［データ処理］**エリアで列データタイプを変更します。これにより、入力データに発生する可能性のあるスキーマの変更によってDataFlowが破損するのを防ぐことができます。

6.

**［設定を変換］を使用して、列内の［不正な値］や［NULL値］**などについて、各列の特別な処理を設定します。

Advanced DataFlow TriggeringでDataFlowの実行を自動化する方法については、こちらを参照してください。

​

［出力DataSet］タイル

DataFlowには出力DataSetが必要です。出力DataSetを使用して、カード（またはほかのDataFlow）に情報を追加します。

​

［出力DataSet］タイルを設定する

［出力DataSet］タイルを設定するには、以下の手順に従います。

1. DataFlowのすべてのタイルが接続され、設定されていることを確認します。
2. 左側パネルの**［DataSet］の［出力DataSet］**タイルをキャンバスにドラッグして、接続します。
3. タイルエディターでタイルの名前を変更します。これは、Data Centerに表示される出力DataSetの名前です。
4. **［更新方法］**ドロップダウンを使用して、更新されるデータの処理方法を選択します。Domoでの更新方法については、こちらを参照してください。

**ヒント：出力DataSetにあるデータをプレビューするには、プレビューを実行し、［出力DataSet］タイルを選択してから［プレビュー］**タブを選択します。

**DataSetの詳細を表示する：DataFlowが少なくとも1回実行された後は、タイルエディターの［詳細］**タブに、出力DataSetに関するすべての情報が含まれます。

5. **［DataSetをクラウドに追加］**ドロップダウンを使用して、データを書き込む場所を選択します。
6. クラウドでデータを保存するデータベースの名前を入力します。
7. データベースでデータを保存するスキーマの名前を入力します。
8. スキーマ内で使用する表の名前を入力します。

注記：

• **［DataSetをクラウドに追加］**するオプションは、Cloud Amplifierを使用していて、ライトバック用に設定された統合がある場合にのみ利用可能です。
• データベース、 スキーマ、表フィールドは、Cloud Amplifier統合がクラウド（現在はSnowflakeのみ利用可能ですが、ほかのエンジンもまもなく利用可能になる予定です）内の位置パラメーターをサポートしている場合に利用できます。

​

［ライトバック］タイル

［ライトバック］タイルを使用して、変換されたデータをDataSetとして出力し、データを別のシステムに送ることができます。

​

［ライトバック］タイルを設定する

［ライトバック］タイルを設定するには、以下の手順に従います。

1. ［入力DataSet］タイルの代わりに、［ライトバック］タイルをキャンバスにドラッグします。

2. ［ライトバック］タイルの名前を変更し、

   **［編集］**を選択して名前と説明を入力することで、出力するDataSetの名前を指定します。

3. （オプション）**［追加オプション］メニューを選択し、［更新方法］**を選択して、データを置き換えるか（デフォルト）、追加します。

4. **［ライトバックを設定］**を選択して、使用するWritebackコネクターを選択します。

5. ほかのタイルを［ライトバック］タイルに接続してDataFlowを完了し、［出力DataSet］タイルで終了します。

**［ライトバック］タイルの詳細を表示する：DataFlowが少なくとも1回実行された後は、タイルエディターの［詳細］**タブに、ライトバック出力DataSetに関するすべての情報が含まれます。

​

よくある質問

少数の列が小数点以下5桁まで切り捨てられるのはなぜですか？

Domoでは、固定小数に（19,5）の精度/スケールを使用します。そのため、小数点の右側に5桁のみ表示されます。DataSetをより高い精度/スケールを使用する設定にするようリクエストできます。