上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQLの内部の詳細とそれらを応用したパフォーマンスチューニングについてお話します。 Databricksでソフトウェアエンジニアとして働いています。

Apache Sparkは、大規模データ処理と分析のための強力な機能を提供するビッグデータ処理の基盤となっています。Spark 3.0のリリースに伴い、最も重要な改善の一つとして導入されたのが、Adaptive Query Execution（AQE）です。この機能は、ランタイム統計に基づいて ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 Apache Spark 2.0で導入された新しい機能であるStructured Streamingは、業界およびデータ ...

何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近 ...

翔泳社では、「独習」「徹底入門」「スラスラわかる」「絵で見てわかる」「一年生」などの人気シリーズをはじめ、言語や開発手法、最新技術を解説した書籍を多数手がけています。プロジェクトマネジメントやチームビルティングといった管理職向けの ...

今回はApache Sparkについてブログを書きます。クラウドでデータ活用基盤を構築していくのに必須の技術となっています。私自身も数年前に始めましたが、復習のつもりで勉強したことを書いてみました。今回は私が経験のあるAWS Glueを使ってサンプルを作成 ...