コラム

CTC教育サービス・ホーム　＞　コラム　＞　知っておきたい Amazon Web Services のキホン　＞　第1回　Amazon RedshiftでスケーラブルなDWHクラスタを手に入れる

知っておきたい Amazon Web Services のキホン

CTC 教育サービス

[IT研修]注目キーワード Python Power Platform 最新技術動向 生成AI Docker Kubernetes

第1回　Amazon RedshiftでスケーラブルなDWHクラスタを手に入れる (廣瀬一海) 2014年10月

Amazon Redshiftとは？

　Amazon Redshift(以下Redshift)は、AWSのBigdataソリューションの一つとして、ビジネス向けのDWH（データウェアハウス）をターゲットとした「Data Warehouse as a Service」をフルマネージドで提供します。
数クリックでクラウドに展開する事ができるDWHアプライアンスとして、とても魅力的なサービスです。

Redshiftのメリットと特徴

　Redshiftを用いて企業向けDWHを構築する事には、どのようなメリットがあるのでしょう？
筆者の観点にすぎませんが、以下に挙げるメリットがあると考えています。

数百GB～数PBまでのデータ保持と拡張性
バックアップやチューニングが既に含まれている
カラムに格納するデータ性質に応じたデータ圧縮によるストレージ利用効率の良さ
超並列演算(MPP)とカラムナデータベース（列指向データベース）による高速なクエリ
ライセンス不要の低廉な従量課金
PostgreSQLのクエリ互換で学習が容易

カラムナデータベース（列指向データベース）とは？

　一般的なRDBMSは行指向であり、主に特定の行をランダムアクセスし、トランザクション処理や更新などの性能を重視しています。行指向データーベースは近年求められているBI分析処理での、集計、分析はそこまで得意としていません。その為、カラムナデータベースでは、主にカラムに対するクエリを重視してブロック化する事で主に集計や統計関数の性能を向上させています。
また、ブロック化されたカラムに対して圧縮されている為、追加・更新・削除の際には、ブロックに対し展開・格納・再圧縮が行われています。よって、頻繁な追加、更新、削除をRedshiftはあまり得意としません、主にデータ分析処理に集中して進めていく事になります。

Redshiftのアーキテクチャ

　以下にRedshiftのアーキテクチャ概念図を記載します。
リーダーノードはODBC/JDBCからのコネクションのエンドポイントであり、配下のコンピュートノード兼データ格納ノードに対するクエリの並列分散処理と結果の生成を行います。
コンピュートノードはデータを分散し各カラムブロックに格納します。
また、リーダーノードからのクエリに対して実行結果を返却します。
コンピュートノードは、目的の処理速度に対応させる為にスケールアウトして台数を増やす事が可能です。
データはコンピュートノードに、Amazon S3やAmazon DynamoDB、Amazon EMRからロードする事ができます。もちろん、PostgreSQL互換ですからloadコマンドなどを使い、TSVやCSVなどのデーターのロードも可能です。

最後に

　Amazon RedshiftはTableauなど魅力的なBIツールを提供されており、またオンプレミスとの同期ソリューションとしてFlyDataなどの製品も出てきており、とても魅力的なフルマネージドDWHです。
是非、手軽なDWHインフラとして試してみてください。

IT研修はCTC教育サービス

AWS　Microsoft Azure　生成AI

Python　Power Platform

コンテナ　その他（研修を分野から探す）

＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋

会社紹介

AWSの導入設計から運用・保守までをトータルでサポートする「cloudpack」 cloudpackは、Amazon EC2やAmazon RDSをはじめとするAWSのプロダクトを、導入設計から運用・保守までお客様の代わりに行うフルマネージドのサービスです。AWS利用料金を含んだ月額定額のパッケージプランをご用意し、OSやミドルウェアのインストールから24時間のサービス/リソース監視、バックアップ/リストアなどの作業代行や技術サポートを行い、お客様の運用負荷を可能な限り軽減することを目指しています。