note

Databricks Data Modeling データ品質制約（NOT NULL, CHECK, UNIQUE, Expectation）

データ基盤では「大量のデータを集める」ことよりも「正しいデータを維持する」ことが最重要です。Databricksでは NOT NULL, CHECK, UNIQUE といったSQL標準の制約に加え、Expectation句（DLTの品質ルール） を利用してデータ品質を担保できます。 NOT NULL：必須項目 ...
note

【SQL初心者向け】NULLの落とし穴：空白との違いを徹底解説

SQLを書いていて「おかしいな、ちゃんと条件を書いてるのに結果が返ってこない…」と思ったことはありませんか？ もしかするとその原因は、「NULLと空白の違い」にあるかもしれません。 この2つ、見た目では似ていても、SQLの中ではまったく異なる存在 ...
GitHub

Data Exploration – Check Nulls.sql

SUM(CASE WHEN Customer_ID IS NULL THEN 1 ELSE 0 END) AS Customer_ID_Null_Count, SUM(CASE WHEN Gender IS NULL THEN 1 ELSE 0 END) AS Gender_Null_Count, SUM(CASE WHEN ...
GitHub

Null Check when using ModeledResponse with RPC to return a RECORD in SQL

Null check when using ModeledResponse with RPC calls on SQL. I am using RPC calls to do all my data manipulations on the server and not on client side. The SQL query returns row/s as RECORD if ...