使用Power BI构建数据仓库与BI方案[通俗易懂]

使用Power BI构建数据仓库与BI方案[通俗易懂]杀手级特性 今年Power BI的几大杀手级特性的GA,可以让其构建完整的数据仓库/数据湖和BI分析一站式方案。 Power BI Premium Per User-超低的价格 Large datas

使用Power BI构建数据仓库与BI方案

杀手级特性

今年Power BI的几大杀手级特性的GA,可以让其构建完整的数据仓库/数据湖和BI分析一站式方案。

  • Power BI Premium Per User-超低的价格
  • Large datasets in Power BI Premium-内置完整的SSAS引擎
  • Dataflows and Azure Data Lake Gen 2-与Azure数据湖集成,数据共享
  • XMLA endpoint-开放编程接口和第三方工具接入
  • DirectQuery for Power BI datasets and Azure Analysis Services-复合模型,BI语义模型的最终形态

     

架构

使用Power BI构建数据仓库与BI方案[通俗易懂]

  1. 数据接入:Dataflows是Power Query的web版,支持接入关系数据库,文件/文件系统,SaaS应用,API等上百种数据源
  2. 数据萃取:Power Query提供完全的图形化操作对数据进行提取、转换和加载处理
  3. 数据存储:处理后的数据以CDM存储在Azure Data Lake上,极低的价格存储并拥有和关系数据库一样的结构化定义
  4. 数据建模:完整的SQL Server Analysis Services内存引擎,支持100G+的内存
  5. 可视与分析:Power BI交互式报表与仪表板,由于内置的SSAS使报表与数据解耦

     

准备条件

Power BI Premium Per User账号

Azure Data Lake Gen 2订阅

SSDT,使用Visual Studio社区版即可

Power BI Desktop

SQL Server Analysis Services 2019服务器

DAX Studio(可选)

Excel(可选)

Azure Synapse Analytics(可选)

 

环境配置

新建工作区

使用Power BI构建数据仓库与BI方案[通俗易懂]

开启高级容量

使用Power BI构建数据仓库与BI方案[通俗易懂]

连接Azure Data Lake

使用Power BI构建数据仓库与BI方案[通俗易懂]

Azure Data Lake需要和Power BI在同一数据中心区域,并保证Azure Data Lake IAM权限。

查看Azure Data Lake

使用Power BI构建数据仓库与BI方案[通俗易懂]

配置完成后会自动创建2个对象存储容器

 

数据仓库

数据接入

新建数据流,启动Power Query

使用Power BI构建数据仓库与BI方案[通俗易懂]

基于成本的原因,本次使用Azure Data Lake做数据源,读取了11张表,如下图

使用Power BI构建数据仓库与BI方案[通俗易懂]

(正常使用时本地/云端的数据库都可 ,一个数据流里支持多个数据源)

 

数据萃取

ETL加工里面的各种场景在Power Query里都可以轻松实现,并且是完全图形化操作,本次以下面几种演示:

  • 代理键

使用Power BI构建数据仓库与BI方案[通俗易懂]使用Power BI构建数据仓库与BI方案[通俗易懂]

  • 派生列

使用Power BI构建数据仓库与BI方案[通俗易懂]

  • 行列拆分

使用Power BI构建数据仓库与BI方案[通俗易懂]使用Power BI构建数据仓库与BI方案[通俗易懂]

(拆分到行还为移植到web端)

  • 多源(含异构)整合-合并查询,追加查询

使用Power BI构建数据仓库与BI方案[通俗易懂]

追加查询支持列不固定,如下图

使用Power BI构建数据仓库与BI方案[通俗易懂]

  • JSON字段

使用Power BI构建数据仓库与BI方案[通俗易懂]

还有缓慢变化,透视与逆透视,分类汇总,向上/下填充,列内容提取等很多场景就不展开了,后续会一个Power Query的数据处理专题.

调度刷新

使用Power BI构建数据仓库与BI方案[通俗易懂]

对于有日期时间字段的表,可以配置增量刷新

使用Power BI构建数据仓库与BI方案[通俗易懂]

数据流的调度刷新配置

使用Power BI构建数据仓库与BI方案[通俗易懂]

数据存储

数据调度完成后以CSV文件格式存储在Azure Data Lake中,元数据存在model.json中

使用Power BI构建数据仓库与BI方案[通俗易懂]

数据刷新后自动构建拉链表模式,由于有model.json元数据,使用时默认最新的版本

使用Power BI构建数据仓库与BI方案[通俗易懂]

数据探索(可选)

由于数据存储在Azure Data Lake中,可以使用支持Azure存储或HDFS的各种工具或接口访问使用.本次演示使用Azure Synapse Analytic的无服务SQL引擎和Spark引擎

使用Power BI构建数据仓库与BI方案[通俗易懂]

使用Power BI构建数据仓库与BI方案[通俗易懂]

 

BI模型

SSAS模型

为了使开发的模型在本地SSAS环境和Power BI公有云环境上都可使用,这次使用SSDT开发,若只考虑公有云使用Power BI Desktop即可.

新建SSAS 2019模型,选择集成工作区模式

使用Power BI构建数据仓库与BI方案[通俗易懂]

读取Dataflows的数据,由于当前SSDT工具还未发布Azure Data Lake 2的接口,那就使用Azure Blob接口

使用Power BI构建数据仓库与BI方案[通俗易懂]

Power BI Desktop直接用Azure Data Lake 2

使用Power BI构建数据仓库与BI方案[通俗易懂]

开发模型:建好表关系,度量值,计算列,行级权限

本此演示的就是一个最基础的SSAS模型结构,3张事实表的星座模型

使用Power BI构建数据仓库与BI方案[通俗易懂]

多维度分层行级权限

使用Power BI构建数据仓库与BI方案[通俗易懂]

模型发布

部署服务器地址,设置不处理

powerbi://api.powerbi.com/v1.0/myorg/FIN

使用Power BI构建数据仓库与BI方案[通俗易懂]

使用SSMS连接SSAS环境

使用Power BI构建数据仓库与BI方案[通俗易懂]

在SSMS上使用模型处理命令

使用Power BI构建数据仓库与BI方案[通俗易懂]

分区

SSDT或SSMS设置分区

Power BI Desktop设置增量刷新

调度配置

使用Power BI构建数据仓库与BI方案[通俗易懂]

 

可视与分析

Power BI在线编辑

使用Power BI构建数据仓库与BI方案[通俗易懂]

使用Power BI构建数据仓库与BI方案[通俗易懂]

Power BI Desktop

使用Power BI数据集接

使用Power BI构建数据仓库与BI方案[通俗易懂]

使用Analysis Services接口,输入服务器地址powerbi://api.powerbi.com/v1.0/myorg/FIN

使用Power BI构建数据仓库与BI方案[通俗易懂]

模型关系图

使用Power BI构建数据仓库与BI方案[通俗易懂]

Excel

2019以下的版本使用Analysis Services连接,Office 365版本有Power BI数据集接口

使用Power BI构建数据仓库与BI方案[通俗易懂]

第三方工具等

支持XMLA的工具都可以连接内置的SSAS模型

使用Power BI构建数据仓库与BI方案[通俗易懂]

本次以DAX Studio演示,如下图:

使用Power BI构建数据仓库与BI方案[通俗易懂]

 

最后

Power BI的按用户数收费模式,不限制使用量,模型完成后无限制用户查询

Azure Data Lake的无限制存储,按使用量计费

两者的价格组合以极低的成本构建企业级数仓BI解决方案

使用Power BI构建数据仓库与BI方案[通俗易懂]使用Power BI构建数据仓库与BI方案[通俗易懂]

本次以批处理数仓演示,二次建模复合模型直连关系数据库涉及实时场景

Power BI自身的流式实时,Azure Data Lake流式写入待后续blog讲解.

 

由于Power BI的特性结合Azure Data Lake可以做数仓,但与Azure Synapse Analytics并不冲突,两者数据都是存储在Azure Data Lake,可以共用一个存储。

面向不同的用户,Azure Synapse Analytics面向IT,Power BI面向业务自助。

 

文档

数据流和自助数据准备简介 – Power BI | Microsoft Docs

在 Power BI 中使用 XMLA 终结点连接和管理数据集 – Power BI | Microsoft Docs

将数据流存储配置为使用 Azure Data Lake Gen 2 – Power BI | Microsoft Docs

使用适用于数据集和 Azure Analysis Services 的 DirectQuery(预览版) – Power BI | Microsoft Docs

Power BI Premium Per User – Power BI | Microsoft Docs

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/6229.html

(0)
上一篇 2023-04-14
下一篇 2023-04-14

相关推荐

  • 用Python Numbers进行数字计算和操作

    用Python Numbers进行数字计算和操作a href=”https://www.python100.com/a/sm.html”font color=”red”免责声明/font/a a href=”https://beian.miit.gov.cn/”苏ICP备2023018380号-1/a Copyright www.python100.com .Some Rights Reserved.

    2024-02-13
    40
  • Mysql当前经纬度距离排序 及距离范围内数量计算[通俗易懂]

    Mysql当前经纬度距离排序 及距离范围内数量计算[通俗易懂]我表里存经度、纬度的字段分别为 lon、lat $lon = 'XXX.XXX';//经度 $lat = 'XXX.XXX';//纬度 //以以上经纬度为中心…

    2023-03-16
    106
  • Python字典:快速查找和操作数据的利器

    Python字典:快速查找和操作数据的利器Python是一门强大的编程语言,具有丰富的数据类型和数据结构,其中最常用的之一就是字典(dictionary)。字典是一个可变、无序的集合,它的元素是键值对(key-value pairs),可以通过键来快速访问对应的值。字典在数据处理、网络爬虫、机器学习等领域中都有广泛的应用。在本文中,我们将从多个方面深入探讨Python字典的使用方法和技巧。

    2024-01-31
    45
  • Python中使用pg截取字符串的实现方法

    Python中使用pg截取字符串的实现方法在Python中,处理字符串是非常常见的需求。有时候我们需要从一个字符串中提取一部分内容,这时就需要使用截取字符串的方法。pg是Python的一种截取字符串的方式,本文将介绍Python中使用pg截取字符串的实现方法。

    2024-04-21
    11
  • plsql字段约束[通俗易懂]

    plsql字段约束[通俗易懂]第五章 字段约束 初识约束 约束是数据库用来确保数据满足业务规则的手段,对数据做的条件限制。 约束的类型 1. 主键约束(PRIMARY KEY) 2. 唯一性约束(UNIQUE) 3. 非空约束(N

    2023-02-05
    103
  • PG启动恢复机制「终于解决」

    PG启动恢复机制「终于解决」生产一个pg库停了后,起库的时候则需要很长时间,记录一下相应的原理。 如backup_label文件不存在(当前没有在做备份),正情况情况下, 在恢复的开始, 服务器首先读取pg_control,然…

    2023-03-19
    97
  • beta环境创建数据库的常用操作

    beta环境创建数据库的常用操作
    基本操作 # 创建用户,以moderation为例 CREATE USER ‘moderation’@’%’ IDENTIFIED by ‘cfaef862…

    2023-04-08
    99
  • 视图和触发器_视图和触发器

    视图和触发器_视图和触发器视图 视图(view)是一种虚拟存在的表,是一个逻辑表,本身并不包含数据。作为一个select语句保存在数据字典中的。通过视图,可以展现基表的部分数据;视图数据来自定义视图的查询中使用的表,使用视图动

    2023-05-26
    87

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注