Databricks Databricks-Certified-Data-Engineer-Professional日本語 Actual Free Exam Questions & Community Discussion
データエンジニアは、S3ストレージに新しいCSVファイルが到着すると自動的に処理する効率的なパイプラインを設計する必要があります。これらの要件を満たすために、データエンジニアはどのDatabricks機能を使用すべきでしょうか？
Correct Answer: B
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
エンドツーエンド テストの主な利点を説明している記述はどれですか。
Correct Answer: C
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
pyspark.sql.functions.broadcast の正しい使用方法を説明している記述はどれですか?
Correct Answer: E
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
あるデータエンジニアが、組織内の安全なデータ共有戦略を設計しています。同社は、機密性の高い顧客分析データを2つの異なるパートナーと共有する必要があります。パートナーAはUnity Catalogを有効にしたDatabricksを使用していますが、パートナーBはDatabricksを使用せずにAWS上のApache Sparkを使用しています。これらのシナリオにおいて、安全なデータ共有をどのように実装すればよいでしょうか？
Correct Answer: C
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
データエンジニアが、3つのノートブックをオーケストレーションするマルチタスクのDatabricksジョブをデプロイしています。1つのタスクが断続的に終了コード1で失敗しますが、再試行すると成功します。エンジニアは、失敗した試行の詳細なログ(標準出力/標準エラー出力、クラスターのライフサイクルコンテキストなど)を収集し、プラットフォームチームと共有する必要があります。データエンジニアは、組み込みツールを使用してどのような手順を実行する必要がありますか？
Correct Answer: A
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
ほぼリアルタイムのワークロードを容易にするために、データエンジニアはDatabricks Auto Loaderのスキーマ検出および進化機能を活用するヘルパー関数を作成しています。この関数は、ソースのスキーマを自動で直接検出し、ソースディレクトリにJSONファイルが到着すると段階的に処理し、新しいフィールドが検出されるとテーブルのスキーマを自動的に進化させます。
関数は以下に空白で表示されます。
指定された要件を満たすために空欄を正しく埋める回答はどれですか?
関数は以下に空白で表示されます。
指定された要件を満たすために空欄を正しく埋める回答はどれですか?
Correct Answer: A
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
データ エンジニアは、遅れて到着する重複レコードが表示される可能性があるパイプラインを構成しています。
バッチ内のレコードの重複排除に加えて、デルタ テーブルに挿入されるときに、データ エンジニアが以前に処理されたレコードに対してデータの重複排除を実行できるアプローチは次のどれですか。
バッチ内のレコードの重複排除に加えて、デルタ テーブルに挿入されるときに、データ エンジニアが以前に処理されたレコードに対してデータの重複排除を実行できるアプローチは次のどれですか。
Correct Answer: C
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
データエンジニアは、パイプラインに直接接続されたDatabricksノートブックを使用して、Lakeflow宣言型パイプライン(LDP)を開発しています。ノートブックに新しいテーブル定義と変換ロジックを追加した後、実際にデータを処理したりパイプラインを実行したりすることなく、パイプラインコードに構文エラーがないかチェックしたいと考えています。データエンジニアはこの構文チェックをどのように実行すればよいでしょうか？
Correct Answer: D
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
データエンジニアがDatabricks上にトランザクションデルタテーブルを作成しました。これはアナリティクスチームが使用する予定です。アナリティクスチームは、Apache Iceberg形式を必要とする別のツールでこのテーブルを使用したいと考えています。データエンジニアはどうすればよいでしょうか？
Correct Answer: A
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
データエンジニアは、遅延到着が頻発するKafkaストリームのレコードを処理するDatabricksパイプラインを設計しています。データエンジニアはどのようなアプローチを採用すべきでしょうか？
Correct Answer: D
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
Unity Catalog でデータエンジニアリングワークスペースが自動的に有効化され、ワークスペースカタログが作成されました。新しいチームメンバーから、デフォルトスキーマではテーブルを作成できるものの、同じワークスペースカタログ内の他のスキーマのテーブルにアクセスできないという報告がありました。なぜ新しいチームメンバーは他のスキーマのテーブルにアクセスできないのでしょうか？
Correct Answer: C
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
データエンジニアリングチームのメンバーが、より大規模なデータパイプラインの一部としてスケジュール設定したいという短いノートブックを提出しました。以下のコマンドは、提示されているとおりに実行した場合に論理的に正しい結果を生成するものと仮定します。
ジョブとしてスケジュールする前にノートブックから削除する必要があるコマンドはどれですか?
ジョブとしてスケジュールする前にノートブックから削除する必要があるコマンドはどれですか?
Correct Answer: C
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
ある企業は、従来のDatabricksジョブでAuto Loaderを使用して、外部ソースからの半構造化JSONファイルを処理しています。時折、重要なフィールドがNULL、無効な型、または予期しないネストされたスキーマのバリエーションを持つレコードが到着します。エンジニアは、不正な形式または不適合なレコードが警告なく削除されず、別の検疫テーブルにキャプチャされるようにする必要があります。パイプラインは、ジョブを失敗させることなく、正常なレコードをブロンズレイヤーに処理し続ける必要があり、バッチとストリーミングの両方の取り込みをサポートする必要があります。
データ エンジニアは、不良レコードを検疫 Delta テーブルに自動的にルーティングする一方で、良好なレコードを Bronze レイヤーに取り込んでさらに処理する、堅牢な取り込みパターンを構築する必要があります。
この取り込みアーキテクチャにおける検疫メカニズムを実現するアプローチはどれですか?
データ エンジニアは、不良レコードを検疫 Delta テーブルに自動的にルーティングする一方で、良好なレコードを Bronze レイヤーに取り込んでさらに処理する、堅牢な取り込みパターンを構築する必要があります。
この取り込みアーキテクチャにおける検疫メカニズムを実現するアプローチはどれですか?
Correct Answer: B
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
データエンジニアは、display(df.collect()) から結果を出力する前に、多数の変換を含むインタラクティブノートブックで作業しています。ノートブックには、ワイド変換とクロス結合が含まれています。
データ エンジニアが次のエラーを受け取りました: 「Spark ドライバーが予期せず停止したため、再起動しています。ノートブックは自動的に再接続されます。」データ エンジニアはどのようなアクションを実行する必要がありますか?
データ エンジニアが次のエラーを受け取りました: 「Spark ドライバーが予期せず停止したため、再起動しています。ノートブックは自動的に再接続されます。」データ エンジニアはどのようなアクションを実行する必要がありますか?
Correct Answer: D
Vote an answer
Explanation: Only visible for EduDump members. You can sign-up / login (it's free).
0
0
0
10