Apach Sparkはより高速にビッグデータを処理するための分散処理フレームワークです。 SQLインターフェースや機械学習などの機能が標準で組み込まれ、バッチ処理だけでなくストリーミング処理や対話的な処理にも対応できるため、さまざまなシーンのデータ ...
上新卓也氏:それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQLの内部の詳細とそれらを応用したパフォーマンスチューニングについてお話します。 Databricksでソフトウェアエンジニアとして働いています。
上新卓也氏:これでLogical Planにキャッシュを使うプランが含まれてきたので、その次の処理としてはOptimizerですね。 これは今までプランの書き換えなどはやってこなかったんですが、ここからプランをガシガシと書き換えていってより効率のよい処理が ...
いまいちばん勢いのあるオープンソースプロダクトとして注目度の高いApache Spark。2月8日、 東京・ 大井町きゅりあんで行われた 「Hadoop / Spark Conference Japan 2016」 は、 国内で開催される初めてのSparkカンファレンスということもあり、 1300人を超える登録者を ...
株式会社クリアコード(本社:埼玉県所沢市、代表取締役:須藤 功平)は、2023年11月24日(金)に、特定非営利活動法人 日本PostgreSQLユーザ会 (JPUG)主催のPostgreSQL Conference Japan 2023 (日本語略称: PostgreSQLカンファレンス2023)において、「Apache Arrow Flight SQL ...