数据平台规划（数据平台规划岗）

本篇文章给大家谈谈数据平台规划，以及数据平台规划岗对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享数据平台规划的知识，其中也会对数据平台规划岗进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、大数据分析系统平台方案有哪些？
• 2、观远数据的AI+BI指的是什么？
• 3、如何规划数据中心的发展战略
• 4、大数据背景下唯品会精准营销存在的问题及解决方法
• 5、新数据在城市规划与研究中的应用进展
• 6、大数据系统体系建设规划包括哪些内容

大数据分析系统平台方案有哪些？

大数据分析系统平台方案有很多数据平台规划，其中就有广州思迈特软件Smartbi数据平台规划的大数据分析系统平台方案。大数据分析系统平台方案深度洞察用户数据,帮企业用数据驱动产品改进及运营监控数据平台规划，思迈特软件Smartbi是企业级商业智能和大数据分析品牌数据平台规划，经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合数据平台规划了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。
Smartbi产品功能设计全面，涵盖数据提取、数据管理、数据分析、数据共享四个环节，帮助客户从数据的角度描述业务现状，分析业务原因，预测业务趋势，推动业务变革。
思迈特软件Smartbi是国家认定的“高新技术企业”，广东省认定的“大数据培育企业”， 广州市认定的“两高四新企业”，获得了来自国家、地方政府、国内外权威分析机构、行业组织、知名媒体的高度关注和认可，斩获“大数据百强企业”、“中国十佳商业智能方案商”、“中国科技创新企业100强”等100+荣誉奖项！
凭借NLP和数据挖掘功能入选Gartner“中国AI创业公司代表厂商（2020）”，凭借思迈特软件Smartbi入选“Gartner?增强分析2020代表厂商”。

观远数据的AI+BI指的是什么？

BI目前实现的是收集数据，提供反馈，辅助决策的能力，以数据为基础的，面向数据管理和分析，属被动角色。而AI则辅以大数据，算法等得到更有价值的信息，实现收集+预测的能力，更多的是主动角色。

虽然AI的应用范围非常广，但结合BI现仍是处理结构化的数据。而此处二者的交集在于机器学习和数据挖掘，但又略有不同。AI的机器学习强调算法，BI的数据挖掘还包括对数据的管理，算法选择上也较为简单，没有神经网络和深度学习等复杂AI算法。

未来,AI与BI的区别在于BI负责梳理生产关系，AI是先进生产力。那么AI+BI模式通过将AI嵌入BI，构建基于AI的BI平台，利用AI的智能让BI系统能够解决更复杂的业务场景，产出更精准的分析结果，从而使决策更为科学和准确。

对于结构化的数据，BI系统可应用机器学习算法，得到更精确的分析结果。例如上文提到的总结用户画像，分析人群行为数据，得到千人千面，实现精准营销的结果。还有金融领域的风险监测，AI+BI的模式可以分析出金融风险和其他指标、行为之间的内在联系，预测更为准确。

对于非结构化的数据，BI可以应用图像处理、语音工程和文本分析等AI技术，智能化地处理复杂业务场景。如语音转文字，录入数据及产出想要的报表等。

业务场景除了在 IT 信息化基础比较扎实的行业，也会在深度场景化的细分领域，且这些领域不具备通用性。也可理解为解决方案不具备复用性。这个时候通过AI完成一些算法匹配，根据匹配的结果来驱动业务执行。

如何规划数据中心的发展战略

为了专注于他们的工作和数据中心，数据中心的管理者不光要定期回过头看看工作和数据中心发生了什么，还需要往前看，这就是数据中心的管理者应该要做的事情，帮助企业更好的管理。与其说往前看是对数据中心将往何去的猜测，还不如说是对其未来的思考。数据中心管理者必须借助策略来让今日的展望变成明日的事实。然而，战略往往和其他预测一样缥缈无形，所以忙于日常工作的数据中心管理者们可能会忘记战略策划以及其他所有非手头上的事情。

无战略的管理企业系统说明了没有通过战略来协调运营及技术发展所带来的后果。不完整的系统会花费大量的时间和资源。如果有实施战略的话，企业就不会浪费时间在确定战略上，而是执行满足组织要求的系统。但是，企业忙忙碌碌，保持系统运行，而战略会在这种氛围中被抛至脑后。

建立战略信心计划会指导数据中心管理者如何设计一个框架并开发战略计划来打破这种没有战略而失控的恶性循环。作为数据中心的管理者，首先考察当前情形、清查缺失和需求。可从这些基准信息来制定战略计划。战略计划可用于实现诸如提高质量，或取得竞争优势等高层次的目标，而且还可用于更为具体的目标，比如如何利用新技术更新系统。

竞争力领袖的新信息系统提出了一个旨在提供竞争优势全面信息系统的组织，展示了如何让系统操作适应这个组织。它解释了信息系统和数据中心必须支持的新技术。最重要的是，它说明了战略是如何影响系统操作、信息系统以及整个组织。主导信息系统的数据中心必须为整个组织提供优质的服务。向用户提供优质的服务必须是任何数据中心管理者的首要任务。

提供信息系统优质服务讨论了如何实现一个成功的优质服务战略。数据中心会有很多职能外包给第三方公司。那么数据中心管理者如何才能保证外部组织运行领域的优质服务呢？

实现优质外包解释的，优质外包寻求的是能共享统一价值观和原则并能提升能力的商业伙伴。本章为数据中心管理者寻求这样的合作伙伴提供一个框架。由于技术每6个月就变革，所以计划长期实施新技术是何等困难。

收购和部署先进的信息技术提供了一些信息以帮助管理者为技术变革建立秩序以及如何在整个企业内部进行部署。前面的章节讨论了开发战略计划。本节将以如何实施战略的独特方法结尾。

运用JAD进行战略实施。借助系统开发所采用的联合应用开发技术（JAD）来实施战略。通过一些列简便化环节，JAD提供一个有效的流程来收集信息并对问题提出详尽的解决方案。其结果往往使项目实施的更优质、更流畅。

三叶草公司采取众多组织相同的方式进行企业系统的开发运行。三叶草公司在20世纪70年代成立了一些独立的主机系统，到了80年代，这些不相容的独立系统雨后春笋搬增加到100多个，统统都链接在一个网络上。直到实施了集中局域网战略，系统才实现互用性。今天，局域网和电信系统已成为该组织的支柱，但是，除非开发更新的IT战略，否则这些系统将不再能够跟得上三叶公司及其员工不断变化的需求。

组织及系统概要

这个结构众多的组织拥有2，300多名工作人员。信息技术（IT）支撑着这个工作多样、业务分散的组织，与此同时，局域网已演变成电子中枢神经系统。尽管通讯和信息技术政策对三叶草公司尤为重要，但其交接给了最多不过是初级技术专家的员工来处理。高级管理人员不再为公司技术基础设施建设出谋划策了。

大概是在1971年，三叶草公司第一批创建和管理的两个自动化数据项目办公室是用于飞机燃料系统和跟踪/任务的飞机维修零部件系统。基于大型机的数据和硬件，这些办公室作为独立的实体与现场启动自动化系统共同协作，以支持此类自动系统的现场用户。从基本的故障排除到程序代码修正，现场协助分部（FAB）始终致力于终端用户的支持。与局域网和广域网链接的主机系统犹如所有问题报告智囊库在进行服务，独立应用软件FAB的运用能得到有效的解决方案。FAB的创建为援助提供了客户需求，这些援助来自三叶草公司发展使用的越来越多的自动化系统用户，经常即时解决急切问题。三叶草管理层实施的默认信息技术战略使系统陷入了巨大的错位中。相互操作性从未在系统发展中考虑过，从而这些自动化系统——他们的辅助办公室的可及性及信息分享能力（覆盖范围）不比单个系统更宽。其结果是一大堆“大烟囱”系统和办公室——15英尺外创建的两个自动化系统可能完全互不相容。

20世纪80年代，三个充满活力的初级电气工程师认识到这些烟囱系统引起的问题，并提出了解决方案——数据通讯的双路宽带网络（即一个简单的宽带线路，每个节点有独立的输入/输出宽带供给）。该宽带主干网建成并纳入双绞线路，以9，600bps的速度运行在每个独立的自动化系统办公室。数据网络结构允许在三叶草公司进行主机信息的网络运行，并且允许现场用户与相应的主机联网。该数据网络引发的激烈响应使更多的宽带升级到中级水平。数据通信的宽带升级到同轴电缆，运行速度达到10Mbps，响应速度更快和访问客户更多。

数据通信网络建成后，初级技术人员了解到，通过软件升级到现有的应用，数据通信网络主干就可以支持信息网络。技术人员对协调各办公室之间通信价值的认知带动了信息网络的建立。局域网10Mbps操作速度达到了数据通信网络的速度。然而，独立办公专用软件的多样特性常常会让网络软件超载。此外，网络管理软件和办公电脑硬件过剩之间的冲突导致相互操作性瘫痪，造成整个网络荡机。三叶草的计算机业务主管形容将此技术平台称为“一次庞大的计算机集结。”

大数据背景下唯品会精准营销存在的问题及解决方法

一、唯品会大数据平台规划和现状这是唯品会大数据平台一个中长期数据平台规划的规划。目标很明确数据平台规划，我们希望从技术上能把整个大数据做成一个包含离线计算平台、流式计算平台、模型训练平台、VRE、 DMP和多种应用的完整生态链数据平台规划，并且希望通过这个平台数据平台规划，让我们公司的分析师、开发人员可以很简易地运用起来。这是唯品会大数据平台的现状，总体和上面的规划图类似，重点在于离线平台的搭建，目前离线计算平台也已经做得差不多了。我们现在有一套很完整的数据开发平台，可以让公司的分析人员在不需要任何培训的情况下，方便地利用这个系统去挖掘大数据中的各种知识，为业务服务。除此之外，我们也有很多产品，看到图中数据产品一块，有情报中心、比价、选品、数读、魔方罗盘、仪表盘等。二、大数据中的资源管理大数据管理本身是一个很广的概念，涵盖了很多知识面。但资源管理是今年让唯品会特别难受的一个点，很多工作人员经过长时间的不眠不休，才最终把它解决掉。所以今天我会把资源管理作为重点，单独拿出来分享。这里的“数据平台使用申请”打了引号，我想说的是这个“平台使用申请”在初创公司或者建设数据平台的初期，一般是很难做到这么完善的。因为我们需要用户提交很多要求，而且这些要求是明确的，包含了比如我需要什么样的资源，HDFS的存储、数据库、计算都需要多少，资源的数目是多少，要通过什么方式去访问。拿到这个申请以后，管理员会负责去分配同样的资源，比如HDFS中分配多少资源给你使用，Hive也是，如果我想要这样一个资源分配队列，需要明确分配给你的最大/最小资源是多少。当然，这是一个理想的情况，现实却很骨感。因为这个行业的发展非常快，相信很多做大数据的同学，很多时候你是被业务和领导推着向上的，所以这时你的思考可能不是很完善，你会发现，你的理想状态是系统很强大、数据规范、流程规范、技术成熟、业务成熟，但现实呢？唯品会在半年前也是这种现状：模型的变更非常迅速，线上的那些代码实际上是我们的人员按小时为单位去做变更的。用户的能力参差不齐。有很多的历史包袱，唯品会的数据平台其实四年前就开始搭建了，其中有三年的历史包袱。同时，有大量的技术包袱，而且平台非常不稳定，掌控力差，有各种各样的瓶颈。整个大数据平台的分层也不是很明确。这是我们面临的现实。那么，这种情况下，维护人员或者像我们这样的技术架构人员就会经常接到用户各种各样的投诉和问题。这里我列了一些用户经常会抱怨的问题：这个任务昨天还好好的，为什么今天跑不出来了？2-10倍的数据量，能撑得住吗？怎么几千个任务都慢了？最近磁盘使用率急剧增加，谁在用？这个表好像不用了，我能删除掉吗？集群要扩容吗？扩多少?当你在没有足够能力应付的情况下，面对这些问题，你是一筹莫展的。而由此也引申出今天的核心议题——资源管控。三、资源管控中的存储资源和计算资源做运维、DBA，或者大数据管理人员，都需要了解一个核心，那就是资源管控。做资源管控，其实和分田到户是同样的道理。当把一块田交给你，那你就在这块田里自己玩，不要到别人的田里去掺和。通过资源管控，可以实现很多目的：从乱序到有序。申请和分配有据可查。规则公开透明。数据公开透明。有多少资源，干多少事。有合理的KPI和惩罚机制。ROI，资源倾斜给回报率高的项目。以Hadoop为例。Hadoop平台是大家都在用的一个技术框架，它有哪些资源呢？总的来说，有四个模块：计算资源、存储资源、权限资源、业务资源。今天我会重点讲右侧的计算资源和存储资源。为什么存储和计算需要关注？首先是NameNode。NameNode在Hadoop中相当于一个技术的管理节点，我们平台目前已经存储2亿的文件超过2亿的blocks，现在NameNode的内存使用在100G左右。在这么大的一个集群规模情况下，会遇到很多问题。standby namenode updateCountForQuota缓慢影响主从一致性，进而影响切换（HDFS-6763）standby checkpoint缓慢导致增量blockreport汇报被skip, 影响主从一致性，进而影响切换（HDFS-7097）standby checkpoint GC导致transfer Fsimage超时失败这里列了几个问题点，都在社区被不少人提出来，我们也确实受到了影响。其中，最重要的是集群启动时，规模越大，你的启动时间可能越慢，除非你把这部分的代码全部进行重构。举个例子，可能我们的集群重启需要30分钟，因为需要每个block去上报。另外，第二个瓶颈就是资源管理，叫做ResourceManager，这也是Hadoop中的一个技术组件。唯品会现在的规模并行度是高峰期可以有一千个任务在跑，每天有将近40万的任务提交到Hadoop集群里，基本24小时内时时刻刻都有人在运行。因为现在的电商，包括现在的大数据已经不是以前那种玩法，不是你晚上跑个批处理，事情就做完了。现在大家的要求是，你能不能5分钟内跑出来，所以我的批处理在上面可能是5分钟一个力度去提交的，所以这个集群对我们来说已经不是夜间作业的集群，而是24小时专机，永远不能宕机的一个服务。https://issues.apache.org/jira/browse/YARN-3547部分解决问题https://issues.apache.org/jira/browse/YARN-518our patch for fairscheduler这里也列了两个问题，就不展开讲了，关键是第二个，我们提交给社区的补丁。这些问题社区还没有解决，我们这个补丁也还没有打到任何社区的版本里去，但是如果当你的集群规模非常大，运行HDFS时肯定会遇到和我们同样的问题——分配能力有瓶颈。目前我们通过这个补丁，分配能力提升到了近10-15倍。这其实很夸张，我们一直考虑的是，现在已经有几百台节点了，那能不能变到几千台？如果分配这个问题不解决，你的瓶颈永远卡在那，即使再加机器，管理也会因为瓶颈上不去，无法提升到几千台这样的规模。前面讲到了很多问题，怎么解决呢？开源节流。分两块，一块要提升各方面主机的性能，图中列出来的，包括了NameNode RPC性能、yarn的container assign性能，以及加机器。另外一块，就是要做各种优化管理。大家想，原先你就有几百个用户在用，当开放出去后，随着大数据应用的发展，不断有人去用，久而久之就会变成上万个用户在用。这时，你的存储是否被有效地利用呢？是否都是有价值的数据放在上面呢？你的计算是否都是有效的计算呢？还有人在用这样的一个任务吗？管理数据化成果给大家看一下我们在这一块的成果。理念很简单，就是做一个闭环。把整个数据仓库和Hadoop做成一个闭环，大家可以看到内圈，其实就是正常开发的一个数据仓库，你会建立任务、执行、下线，这是一个循环。而外循环是从整个任务建立时就开始对它进行管理，当你任务申请好之后，你会分配到一个队列，查看你的每一个日志。存储和计算会告诉你用了多少，同时还可以做一些智能的分析。在你的任务执行完之后，可以在系统里面看到任务的整个生命周期运行情况。基本上我们就是把整个大数据分到项目，分到人，分到数据库，分到几个任务，所有的指标都可以可视化地让你看到，也就是说，即使你只是简单地在系统里提交了一个SQL，可实际上你得到的是一个可视化、数据化的成果。你可以知道，今天我提交了多少个SQL，占用了多少资源，剩下多少文件，所有这些东西在系统里都可以看到。这样数据分析师也能主动跟你讲，今天慢了可能是因为提交的任务太多，今天提交的任务比上周多了一倍。你也能主动地在系统里找，为什么多了一倍？什么样的任务最占用资源？整个架构闭环大大降低基本架构技术人员的工作量。而当我们所有的数据都开放给数据分析师时，数据平台规划他们又能通过这些数据去做一些自己的分析，这也是一个闭环的形成。对很多公司来说，通过构建闭环，这一块的工作效率将会得到很大的提升。接下来重点讲两块资源的管理。一块是存储的资源，一块是计算的资源。存储资源管理一般情况下，大家在Hadoop中都是用Hive这个数据库，它对应的是后端的一些一二三级目录等数据库和表的目录。我们要怎样获取这些数据呢？从我们的角度来说，我们也是数据分析人员，我们要做的东西和其他的分析师其实是一样的，只不过我们分析的对象是系统的性能数据。我们会想要获取各种各样的性能数据，同时，我们需要去计算这些性能数据，做多维度的各种计算，然后把它推出去给用户看。存储资源基本上就是通过这几大块来收集，左边是获取到的各种存储的信息，文件、表、数据仓库、ETL、Hadoop的日志……第二步是把它转化为Hive里计算的文件元数据信息、表元数据信息、调度任务元数据信息、路径访问信息，最后得到的产出通过各种维度的计算，可以得到：维度：包括分区、表、数据库、任务、业务、人、目录层级、时间等所有维度；指标：全量、增量、趋势、平均文件大小、最大文件大小、最小文件大小、文件数目、占比等；热度：哪些表被频繁访问？哪些表3个月没人访问，是否可以下线了？安全：有没有敏感信息被非法访问。通过这一系列的存储资源管理，可以把所有的关键信息收集起来。下面，讲一下这些数据的使用，这也是我们公司目前正在践行的：容量计费通过计费来控制资源，使存储数据完整透明。消费预警，会提前知会用户。空间管理自动配置生命周期管理规则；存储格式，压缩格式选择（orc+gzip）；文件管理自动配置生命周期管理规则；小文件har归档。控制存储的价值：一方面可以解决NN“单点”瓶颈，控制服务器的数量，降低成本。如果没有加以控制，很快你的规模就会变成几百、几千，逐渐失控。另一方面，规范数据生命周期管理，统计冷热数据的使用，区别哪些数据是能删的、哪些是能归档的、哪些是被频繁使用的，都可以通过这个手段反馈给ETL生命周期管理。计算资源管理这是yarn的一个架构图。大家都知道yarn是Hadoop的一个统一的调度管理。但yarn好像把所有资源管理的事情都搞定了，我们还需要管理什么呢？实际上，还有很多没有解决的问题。

新数据在城市规划与研究中的应用进展

引言

信息通讯技术的迅速发展促进了大量新数据的涌现。由大数据和开放数据构成的新数据环境正逐渐形成，为城市研究和规划设计带来了全新的机遇与挑战。区别于过去传统的统计年鉴等数据，本文提及的“新数据”特指十年前未被广泛使用的数据。

新数据在成为规划行业重要工具的同时影响着规划理念的创新。自2013年以来，有关数据在规划中应用的研究思潮如雨后春笋般出现，诞生了如“大数据与小规划”、“众筹众包众创”、“微时代与云规划”、“数据增强设计”、“大模型”等思潮。基于新数据开展规划分析、规划评估、辅助设计和模拟预测成为了技术视角的规划转型主要 探索 方向。

篇幅有限，本文主要采用近几年所进行的研究与应用作为案例。

数据获取、管理与平台

2.1 数据获取

2.1.1数据类型与特征

首先对大数据和开放数据进行辨析。开放数据（open data）指的是一种经过挑选与许可的，不受著作权、专利权以及其他管理机制所限制的，开放给 社会 公众自由出版使用的数据。大数据起源于21世纪以来互联网信息技术的发展。目前关于大数据较为广泛认可的是应具有“5V”特征——Volume（数据量）,Variety （多样性）,Velocity（速度）,Veracity（真实性）,Value（价值）。大数据种类多且价值高，但真正投入规划行业使用的数据类型却相对较少，主要有公交卡数据、LBS数据、浮动车数据及手机数据等。

大数据与开放数据共同构成了当下的新数据环境。受限于数据获取成本与途径等各种原因，目前存在着“大数据不开放，开放数据不大”的现象，制约了城市研究及规划实践对数据的获取与运用。

2.1.2新数据在城市规划中的价值

（1）城市基础数据覆盖范围的扩大

（2）编制手段的革新

（3）参与方式的扩充

2.1.3新数据获取的 探索

2.2 数据管理

针对不同数据源，需要运用不同类型数据库进行存储。其中结构化数据主要运用传统的关系型数据库如Oracle、MySql、SQL Server等，半结构化数据则采用非关系型数据库如HBase等，非结构化数据则需采用Text、HDFS等进行储存。对于数据量较大的新数据，如公交刷卡数据、LBS位置数据等，需要开发专门的平台进行管理。此外还有较常见的为大数据行业广泛使用的Hadoop、Spark等大数据管理平台。但这些平台并非针对规划行业搭建的数据管理平台，因而在应用前还需要作相应的改造。

2.3 数据平台

目前已有各式各样的规划数据平台为不同组织所运用，其组织构成框架大同小异，主要包括数据处理平台、规划应用平台、城市画像平台及规划支持平台四大部分（表1）。

目前，专门针对规划行业的综合数据平台正不断兴起。人迹地图规划分析平台、徐霞客计划、BCL数据共享平台是其中较为典型的三类（表2）。它们使用了不同的数据源，具有不同的应用领域，但均具有数据处理、城市研究与规划支持的功能意义。

城市研究

3.1 城市研究新范式

伴随着时空尺度的扩展，新数据为城市研究带来了新范式，龙瀛等将其提炼为“大模型”。 “大模型”是一种在大范围地理区域上建立的相对精细尺度的城市、区域分析与模拟模型。与传统城市与区域模型相比，大模型由大规模数据驱动，能够兼顾研究精度与尺度（图2右：大空间、细精度）。

在应用方面，“大模型”目前主要有以下几个方向：一是进行大中小各种尺度城市的分析（图3）；二是从人的视角进行精细化分析与模拟（图4）；三是将城市内尺度汇总的指标与宏观城市指标进行计量分析，以丰富城市理论（图5）。

3.2 基于开放数据的研究

针对不同的开放数据，城市研究者展开了不同的研究。如政府开放数据、微博数据、LBS数据等等。总体而言，尽管业内已有一定技术积累与学术成果，但基于开放数据的研究仍处于起步阶段。由于数据精确度与数据量大小问题，该领域的研究仍有较大的发展提升空间。

3.3 基于大数据的研究

业内主要运用到的大数据有公交一卡通刷卡记录数据、手机信令数据、智能手机LBS数据等。这种数据起源于基于智能卡的公共交通自动计费系统，它记录了持卡者的出行行为，同时也在个体维度揭示了城市空间的使用模式。其次是手机信令数据。手机信令数据能在落实到个体的时空行为精度基础上兼顾更广的覆盖范围，是一种近乎全样本、全覆盖的数据。此外还有通过与TalkingData合作获得的基于智能手机APP采集的LBS和用户标签数据等。

规划应用

4.1 认识城市规律——理解

然而，尽管新数据拥有许多优点，仍存在数据有偏性明显、缺乏个体 社会 经济属性等不可规避的缺陷。新数据虽长于分析城市现象中的特征关系，却短于揭示现象背后的原因。

4.2 规划编制——创造

龙瀛与沈尧在 “大模型”的基础上提出了“数据增强设计”（DAD，Data Augmented Design）。它是一种以细尺度设计为基础，同时对各个尺度效应进行精准了解与评估的设计模式，是“大模型”理念在规划设计方面的深化与发展。它以定量城市分析为驱动，通过数据分析、建模、预测等手段，为规划设计的全过程提供调研、分析、方案设计、评价、追踪等支持工具（图6），以提高设计的科学性，激发规划设计人员的创造力。

DAD从本质上与过去的计算机辅助设计（CAD）及地理信息系统（GIS）一致，是一种新的规划设计辅助方式。其设计框架主要由大尺度城市设计的时间、空间与人三维度构成（图7）。其中，每个维度都可以细分为尺度与粒度两个刻画指标（图8），并能在尺度与粒度间自如调度。

在具体实践方面，DAD理念已在增量设计案例北京副中心和雄安的总体城市设计及存量设计案例上海城市设计挑战赛中得到应用。对于增量设计而言，DAD可起到 探索 规律、辅助设计的作用。其中，“城市生长基因”方法可用于数据稀缺场地，如北京副中心城市规划设计。借鉴“城市生长基因”，该项目从 历史 数据中 探索 “城市生长基因”，从而对北京未来城市形态和活力展开定量分析与预测。此外，该项目还通过 探索 其他目标相似的城市“生长基因”，从中总结一般性规律并提取模式，以支持新区设计方案的评价和优选（图9）。

对于存量设计而言，DAD还可以提供有助于沟通协作的信息平台。以曹哲静等人在上海衡复城市设计竞赛中的作品为例。该项目的基地在上海衡复 历史 街区，涉及多主体、多产权、多价值观的碰撞与融合。因而该项目在多维数据的帮助下搭建了测度空间数据的动态反馈平台，沟通了设计主体与客体，为空间干预制造了反馈机制。

4.3 规划设计评价——评估

城市规划云平台：存量规划时代新的规划形式与技术基础

5.1 规划行业未来方向：数据平台支持下的人本主义存量规划

数据化与平台化对规划行业的革命性意义不言而喻，如何顺应并利用DT（Data Techonology）时代成为规划行业内部亟待自我升级与变革的关键命题。如今，传统规划院的部分业务已具备平台化的条件，具有经济价值的案例业已出现。北京市城市规划设计研究院搭建的城市规划云平台CITYIF正是其中一例。

5.2 城市规划云平台的内容与组成

城市规划云平台是北京市城市规划设计研究院于2014年搭建的服务于政府、市民、规划师的云平台。该平台可分为数据云平台、智慧云平台和动力云平台三个部分，目的在于实现数据汇集、智慧汇集和动力汇集三大功能。

（1）数据云

数据云的任务是实现互联网上微小元素的集成，包括所有新数据以及提供驱动新数据的技术、工具和应用系统。

（2）智慧云

智慧云的任务为构建规划师之间智慧汇集与分享的平台。目前，已有微博、微信、网络论坛、虚拟社区等分享平台。智慧云的任务是在这些平台的基础上建立知识库与智库。

（3）动力云

动力云旨在实现规划众包、动力汇集与公众参与的全 社会 化与全过程化。云平台将促成更多自下而上的微动力通过汇聚。它是自上而下与自下而上的联系平台，更是各方面各层次动力的汇集平台。

结论与建议

6.1 收获与经验

正如前文所述，新数据已应用在城市规划与研究的方方面面。对于城市规划来说，新数据既是资源 探索 ，更是研究范式，还引发了理念创新，在实践中形成了应用系统。下面将对近几年在这几个方面的收获与经验进行简单的总结：

（1）资源 探索

新数据对于城市规划与研究而言，首先是一种资源。相对于传统数据而言，新数据具有样本量大、动态性、时效性、精细化、多样化等特点，在个体行为捕捉、样本容量、研究尺度、趋势预测、规律发现等方面更具优势。经过几年的 探索 ，业内掌握一定的智能获取多源数据的技术方法。对于规划行业如何与互联网公司合作等现实问题上亦有一定的思考成果。

（2） 研究范式

除了资源外，新数据同样为城市研究带来范式革新。基于新数据环境，笔者将新数据驱动下产生的城市研究新范式提炼为“大模型”。“大模型”能兼顾研究的尺度与粒度，因而它在保证研究粒度的前提下，为城市定量研究带来了尺度的拓展。

（3） 理念创新

伴随着新数据在城市规划实践中的应用，一些新的理念诞生，如数据增强设计（DAD，Data Augmented Design）、人本尺度城市形态（human-scale urban form）、街道城市主义（Street Urbanism）以及图片城市主义（Picture Urbanism）等。这些理念在实际的规划设计中也已有所应用，如北京副中心城市规划设计、雄安总体城市设计及上海城市设计挑战赛衡复 历史 片区更新改造等。在实践中更是诞生了如“城市生长基因”等可直接应用于规划设计的理念细分。

（4）应用系统

基于新数据的规划综合应用平台同样是规划行业拥抱新数据的收获与积累。其中，北规院搭建的城市规划云平台CITYIF是较典型的一例。此系统实现了规划师、政府及市民的在线互动，是真正意义上基于“互联网+”与多源数据的公众参与辅助平台。

6.2 教训

新数据为城市规划与研究带来新视角、新动力的同时，也由于数据使用不规范带来了一系列经验教训。在城市研究方面，主要面临的教训是数据使用方法不当产生的“大错误”及一系列道德伦理问题。首先是数据质量及使用方法，如数据收集失真、数据缺失、数据不具备代表性、一致性及可靠性等问题所带来的“大错误”（big error）；其次是伦理道德、个人隐私的问题。在城市规划实践领域同样出现了盲目使用数据，为数据而使用数据的现象，方法严谨性的考究不足使得最终的结果良莠不齐。

总体而言，这些问题的产生与不科学、不规范的数据收集与处理过程有关。不能科学使用数据，就无法科学指导城市规划研究与应用，因此我们必须从中吸取以下几点教训：（1）数据处理、分析方法的科学性；（2）数据供应方的合作模式；（3）不能完全摒弃传统数据采集方式；（4）数据的多源校验；（5）研究伦理的审查。

6.3 对未来发展的判断

新数据环境为存量规划时代中的精细化人本主义规划提供了支持，规划行业头一次具备了进行人本主义规划实践的条件。然而当下利用新数据所进行的城市研究与规划应用多还处于现象描述、特征提取阶段。未来对新数据的进一步运用势必需要进一步的数据挖掘与分析方法进步。在下一阶段，机器学习与人工智能介入城市规划行业势在必得。

因而在此背景下，规划行业改革迫在眉睫。这种改革不同于往日引进CAD、GIS之类的技术革新，而是从方法论上重新构建城市规划的理论基础、编制办法、技术指标与评价体系。但是这种改革单凭规划师群体难以实现，因而整个规划行业也要做好开放与联合行业外资源的准备。

笔者有理由相信，在不久的未来，大数据将不再是少数具有数据科学技能的城市研究者的专属物，而是像CAD和地形图一样每个规划师都会用，能投入生产的生产资料。而这也是数据时代下城市规划行业的自我变革与更新结果。

大数据系统体系建设规划包括哪些内容

技术模型控制、适应传统管理工作需求 新一代电子政务系统在得出数据平台规划了业务资源及关系模型和业务资源权限控制模型后数据平台规划，再结合机关单位办公实际数据平台规划，梳理传统管理工作需求，把机关单位的传统管理工作、规章制度通过技术模型的形式固定了。还有像传统的规章制度中对文件传阅控制、处理规定等，新一代电子政务系统就通过查询授权功能在技术上实现。提炼标准模型在创新的业务核心模型基础上，新一代电子政务系统建设为了保障业务核心模型的有效实现和规划，再提炼了业务标准模型。统一数据库结构设计 新一代电子政务系统通过数据标准规范，统一了各子系统的数据结构标准，从数据底层实现了标准统一，为各子系统之间的数据共享和数据整合提供了统一结构基础。统一系统和基础信息资源分类 新一代电子政务系统通过统一各业务及应用子系统之间的系统和基础信息资源分类，实现了信息资源支撑的统一，从而为各子系统之间的数据关联相互交换提供了统一数据基础。业务数据标准化保障了业务模型在数据层次的统一，确保了业务模型数据标准。统一主界面布局与统一应用层次 在业务数据标准统一基础上，为了确保业务核心模型在电子技术实现后的规范和方便应用，新一代电子政务系统又创新实现了系统布局和展示层的标准,还可以为应用层次划分标准，从而方便用户对系统的规范使用。制定设计模型创新了业务核心模型，提炼了业务标准后，新一代电子政务系统针对各种办公业务资源，从业务工作的实际出发，结合实践经验，又创新制定了基于业务核心模型基础上的业务设计模型，业务设计模型的创新又在于归纳可复用各业务功能模块上面。新一代电子政务系统中，业务设计模型的创新在于提炼可复用各业务功能模块。以往的电子政务建设，模块不清晰，系统建设杂乱无章，很多建设工作重复，这不仅仅耗费了大量资金，而且不利于系统的长远发展和推广应用。新一代电子政务系统从建设的实践中，从功能模块层提炼出了可复用的各业务功能模块，以方便系统的继续发展和建设，局部见图2 关于数据平台规划和数据平台规划岗的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 数据平台规划的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于数据平台规划岗、数据平台规划的信息别忘了在本站进行查找喔。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。