# S3内の様々な形式のCSVを１つのデータセットにして分析をする方法はありますか？

**URL:** <https://community.amazonquick.com/t/s3-csv/26087>\
**Category:** 日本語で質問 | Q&A\
**Tags:** data-source, Japanese, Business-Intelligence-Engineer, dataset\
**Created:** [February 19, 2024, 3:03am UTC](https://community.amazonquick.com/t/s3-csv/26087 "2024-02-19T03:03:00Z")\
**Posts on this page:** 5\
**Page:** 1

<div class="post-metadata">

**Author:** ![YukiSekiya](https://avatars.discourse-cdn.com/v4/letter/y/0ea827/32.png) [@YukiSekiya](https://community.amazonquick.com/u/YukiSekiya)\
**Post date:** [February 19, 2024, 3:03am UTC](https://community.amazonquick.com/t/s3-csv/26087/1 "2024-02-19T03:03:00Z")

</div>

S3バケット内に分析したいCSVがあり、Athenaでクエリをかけることが出来ないディレクトリ構造になっています。S3のフォルダやファイルを１つずつデータソースとする方法は理解しています。  
ディレクトリ構造を見直し、Athenaで１つのテーブルに結合するか、Quicksight内でデータソース同士を結合するかしか思いつきません。  
他に方法がありましたらご教授ください。

---

<div class="post-metadata">

**Author:** ![Masahito](https://d2orw1595917va.cloudfront.net/user_avatar/community.amazonquick.com/masahito/32/25379_2.png) [@Masahito](https://community.amazonquick.com/u/Masahito)\
**Post date:** [February 19, 2024, 5:57am UTC](https://community.amazonquick.com/t/s3-csv/26087/2 "2024-02-19T05:57:53Z")

</div>

まずいずれか1つのCSVファイル（もしくはそれに対応するAthena）を元にしたQuick Sightのデータセットを作成し、その後データセットの編集画面上で、画面右上「データを追加」から結合させたいCSVファイル（もしくはそれに対応するAthena）を選択することでQuick Sight上は”1つのデータセット”という形で取り扱いが可能になるかと思います。  
具体的なイメージは添付資料をご覧ください。

こちらで答えになっていますでしょうか？  
もし答えになっているようでしたら、Solutionをマークしていただけると助かります。

もしこの方法だと課題がある場合は、その旨お知らせ頂きその課題の詳細についてご教示頂ければ幸いです。

※ご質問内の`Quicksight内でデータソース同士を結合する`というのはこちらの方法を仰っていたのでしょうか？その場合もこの方法に課題感があるようでしたらお知らせ頂ければと思います。

 ![スライド1](https://d1wl4jav5dp96l.cloudfront.net/original/3X/0/8/088a83be966479623f78c5a5c23946e60feb6ae7.jpeg)

---

<div class="post-metadata">

**Author:** ![shimosak](https://d2orw1595917va.cloudfront.net/user_avatar/community.amazonquick.com/shimosak/32/14920_2.png) [@shimosak](https://community.amazonquick.com/u/shimosak)\
**Post date:** [February 19, 2024, 9:44am UTC](https://community.amazonquick.com/t/s3-csv/26087/3 "2024-02-19T09:44:54Z")

</div>

ご質問だけではイメージできない部分があるので、様々な形式のCSVがどのように複数のディレクトリに保存されているか、をもう少し記載いただいた方がより具体的な回答が得られると思いおます。

代替案になりそうなのはSPICEの利用ですね。SPICEにS3からデータを取り込む際にJSONでmanifestファイルを書くのですが、ここで複数のprefix(ディレクトリ)を記載して、複数のprefixからデータをSPICEに読み込むことが可能です。

またAthenaを使う場合でも、ファイルを連結する必要はないです。1つのprefixに全てのCSVファイルが入っているようにすれば、連結しなくても1つの表としてアクセスが可能です。

ちらばったファイルを集める方法としてはGlue等でETLジョブを書く方法もありますし、S3にデータがPUTされた時のEventをトリガーにLambdaを実行する等の方法も考えられます。

---

<div class="post-metadata">

**Author:** ![ymatz](https://d2orw1595917va.cloudfront.net/user_avatar/community.amazonquick.com/ymatz/32/11959_2.png) [@ymatz](https://community.amazonquick.com/u/ymatz)\
**Post date:** [February 20, 2024, 9:32am UTC](https://community.amazonquick.com/t/s3-csv/26087/4 "2024-02-20T09:32:33Z")

</div>

その後いかがでしょうか？Masahito-san, shimosak-sanの回答で解決しておりますでしょうか？もし解決しているようでしたら、返答の下にチェックボックスをクリックし、Solutionを選択いただけると幸いです。

---

<div class="post-metadata">

**Author:** ![YukiSekiya](https://avatars.discourse-cdn.com/v4/letter/y/0ea827/32.png) [@YukiSekiya](https://community.amazonquick.com/u/YukiSekiya)\
**Post date:** [February 21, 2024, 1:57am UTC](https://community.amazonquick.com/t/s3-csv/26087/5 "2024-02-21T01:57:35Z")

</div>

皆さん回答ありがとうございました。  
拙い知識で質問した為皆さんを混乱させてしまい申し訳なく思っております。  
結果として、manifestファイルで複数ディレクトリ、ファイルURIを指定し、まとめてデータソースとする方針となりました。
