市县一体化公共数据资源管理系统建设项目（县级公共数据平台建设导则）

模块

具体要求

一体化门户

★打造全市一体化公共数据门户，集成数据目录、数据归集、数据治理、数据共享、数据开放和数据分析6个子系统，实现统一对外服务和跨层级协同管理。

对接统一用户中心

对接全市统一的用户认证中心，根据用户所属组织，进入本区域数据专区

区县权限改造

提供统一消息推送与管理服务，用户在门户首页可方便浏览自己的待办事项，并可直接跳转至对应的地址进行下一步处理。

日志分析

完善日志分析模块，在用户登录门户、点击跳转、查询资讯、处理消息等多处地方进行埋点，为后续的用户分析提供数据支撑。

模块

具体要求

县级专区目录建设

县级专区目录展示、检索

支持专区目录按照所属层级（县（区）、街）、主题分类展示，支持目录的模糊检索

县级专区目录注册

提供全市各专区数据目录新增、导入、导出、修改、查看、删除等功能

县级专区目录管理

实现对各专区层级和主题分类的管理，支持专区层级和主题分类分类的自定义管理

县级专区批量数据共享申请

提供用户按照数据购物车形式添加需申请的数据资源，支持共享申请与普查系统管理，支持附件上传，提供数据共享申请工单的新增、修改、提交、查看、撤回等功能，提供按照不同基础库的数据共享申请功能。

市县分级运营权限配置

提供县级专区目录管理权限，对县级管理员提供目录审核、批量数据申请审核、需求审核等县级管理权限

市县数据仓目录建设

数据仓目录管理

数据仓目录管理：提供市级、县级的数据仓目录管理功能，提供数据仓目录的维护等功能

数据仓目录认领

提供对应省级、市级目录回流的复制引用功能，提供市级目录下放分发功能，对应数据仓目录提供市县数源单位的责任认领

回流审核

提供数据仓目录回流审核功能，对市县数源单位的责任认领进行审核

数据仓目录检索

提供对应数据仓目录的展示与检索，对应标记省级回流数据、市级回流数据，提供同条数据目录不同层级的展示

数据仓回流数据申请

★提供市县两级回流数据共享流程优化，根据数据所属层级不同，配置不同的共享审批流程

数据目录智能化评价

指标配置

对单位系统目录整体统计情况及健康情况进行健康度指标配置。

目录质量监测

根据目录元数据、数据及时性、数据确认情况等，对各单位的数据目录进行质量监测

健康度评分

根据得分自动判断目录的优、良、差情况，形成各目录的健康度

数据库表元数据感知

感知工具

提提供mysql、oracle、sqlserver、db2、odps等常见数据库类型元数据采集工具，提供数据库、数据表、数据项等采集源数据管理功能

数据探查

提供数据库采集信息的配置、存储功能，通过定时任务的采集配置，提供探针管理、探针状态、探针频率等功能，感知各库表元数据变化情况

目录工厂

提供数据库表元数据采集后的加工处理分析功能，实现表原始数据形成数据资源目录，并对数据资源目录进行库表溯源，通过探针的感知情况，分析数据目录的动态化

应用目录管理

共享接口对接

共享系统通过“已审核接口数据申请查询接口”获取目录系统已审核接口数据进行实施操作；通过“已申请实施反馈接口”将申请实施反馈结果推送到目录系统

接口数据共享申请

★目录系统部门用户选择需共享申请的接口数据加入购物车，并填写相关申请材料，提交共享申请

库表申请工单

★提供已发起批量数据申请的工单管理功能，包括共享申请工单审核情况查看、申请信息修改、申请工单撤回等功能。

接口数据共享申请审核

管理员对用户提交的接口数据共享申请通过内跑平台进行审核

目录治理能力优化

优化检索页面

优化目录检索首页、目录检索结果页面，提升目录检索的用户体验

统一检索

开发目录统一检索页面，支撑省级、市本级、区县所有数据目录的检索

高级检索

增加目录相关属性的检索，如是否归集、开放属性、共享属性、应用场景等内容

模块

具体要求

手工归集模块

问卷调查方式的数据采集子模块、数据存储方式优化等。

自动归集模块

通过传参自动连接kettle仓库功能、通过传参自动打开转换或job功能，以及定制kettle-web，包括屏蔽插件、禁用功能等。

增加简易配置与专家配置功能。简易配置允许通过选表、字段的方式配置etl任务。专家配置允许自定义各种高级功能任务。

任务调度模块，优化日志模块、优化脚本在线编辑模块，记录历史版本、权限改造等工作。

文件归集模块

对非结构化文件进行归集

区县权限改造

建设数据归集系统区县专区：区县角色改造，包括手工归集模块权限下发，允许区县自行配置归集任务，以及监督、归集数据；自动归集模块，区县独立管理资源仓；任务调度模块，区县独立配置引擎、任务以及调度。

对接公共数据目录子系统

★公共数据目录子系统对接：包括自动配置调度任务、自动生成etl脚本、自动建表，以及库与部门映射的开发工作。

对接统一用户中心

★对接全市统一的用户认证中心，根据用户所属组织，进入本区域数据专区

模块

具体要求

性能和架构优化

包括微服务容器改造、微服务网关改造、服务定时自注册、服务容器状态查询、服务加载和卸载的控制接口、接口定制化的验证标准接口、白名单微服务、生成PDF的微服务、节点和数据源网络连通性管理、接口权限管理（采用购物车方式管理）、短信模版管理，以及服务发布、测试、审核、上线、在线测试功能等。

系统安全优化升级

对接统一身份认证平台、优化白名单入库模式、接口测试功能、接口自动文档功能、规范查询日志输出格式，以及与数据安全平台完成日志数据对接。

对接公共数据目录子系统

★实现API接口和API接口文档自动上传至数据目录子系统，供目录子系统用户查询；接收目录子系统的接口共享申请施工单并实施。

区县权限改造

包括组织架构区县管理、区县用户管理改造、区县角色管理改造，以及新增区县特色接口管理、微服务节点管理和接口发布管理模块等；同时针对水电联办，新增区县管理员功能和区县报表的改造。

对接统一用户中心

★对接全市统一的用户认证中心，根据用户所属组织，进入本区域数据专区

优化接口配置模块

Restful接口配置改造、数据库表单查询接口配置改造、存储过程查询接口配置改造、用户自定义java代码接口配置改造、数据源配置改造等。

查询终端升级

升级查询终端，支持国产化操作系统。

系统迁移

系统压测、迁移和平滑上线

模块

具体要求

县市区数据清洗账户体系

县市区数据清洗系统是建立在市级清洗系统的基础上，建立县市区大数据局数据清洗系统账号和部门体系，根据县市区归集的数据具体情况，县市区可以创建数据清洗规则，结合县市区的组织架构形成不同角色人员之间的协作机制，帮助县市区大数据发展管理局建立数据管控的长效机制，持续不断提高数据治理能力，为挖掘数据的价值打下基础。

县市区清洗规则定制

数据治理系统中可配置数据清洗规则，开展如数据格式、去重、比对、校验等，提高数据质量。数据规则提供通用规则和县市区的个性化规则。根据各区县市的业务需求，不断形成新的数据清洗规则，为各县市区大数据局管理局提供更符合需求的优质数据。

接口问题上报子系统

接口问题上报系统是为了帮助温州市政府服务平台中存在的问题数据反馈给数源部门，数据治理平台通过开放接口的方式提供外部平台将问题数据上报的功能，做到问题流转到源数据部门，问题数据及时反馈，及时整改，整改后反馈的闭环。接口问题上报子系统可以管理外部平台的接入，查看外部平台上报的问题数据，并且将错误数据生成工单流转给数源部们或上报省治理平台，并且对部分数据可以随时查看问题数据是否整改的情况。

县市区数据质量查询系统

★通过数据质量展现模块查看县市区内数据质量、数据清洗的基本情况。根据数据的完整性、准确性、唯一性、关联性和规范性等原则，利用市数据治理平台，对县市区中各部门的数据质量进行检测评估，对各部门数据质量的统一展示。（数据质量展现截图）

模块

具体要求

基础功能

★ BI工具本身具有完整的产品线，工具本身的运维需统一便捷，同一产品线内需涵盖企业级固定格式报表组件，敏捷BI组件、ETL组件、数据可视化及数据挖掘等组件；
提供系统级别的一键备份与恢复机制，可自动备份；支持资源的备份恢复，并且在导出资源时可一键添加依赖资源、资源权限、数据权限；
支持将目录或报表授权给用户、用户组、角色等，实现查看、编辑、删除、再授权等不同粒度的权限控制；
下级目录或报表可自动继承上级目录的授权设置，无需逐个目录或报表进行授权，并且是否继承的方式可配置；
在界面配置实现数据脱敏功能，支持掩码、字符替换、正则替换等脱敏算法，可支持指定不同用户组、用户、角色生效，并且可控制在浏览或者导出时候生效；
支持WebSphere、WebLogic、Tomcat等国外中间件，支持金蝶中间件、东方通中间件等国产中间件。

支持Kingbase、Gbase、达梦、星环、Gauss100、Gauss200、aliyun AnalyticDB、aliyun MaxCompute、Huawei FusionInsight HD、Obase等国产数据库。

系统内置可视化、统一的系统监控界面，方便系统管理员进行系统运行监控与问题排查，包括进行线程、缓存、堆打印、实验监控、服务监控、会话、网络、内存、SQL监控等分析；
每个报表可进行耗时分析，能查看 SQL执行时间、 数据读取时间、 服务器处理时间、 数据集行数。

提供元数据搜索功能，可搜索所有系统资源，可精准定位被搜索资源的位置，支持对不同资源类型的分类查询，包括分析类型、数据集、数据源、参数等。
支持对资源进行元数据分析，如影响性分析、血统分析，可以从源资源定位目标资源，也可以从目标资源定位到源资源；元数据分析支持过滤要分析的数据类型，如参数、字段、图形主题等。

数据处理

语义模型能将数据库中的表字段进行拖拽重组，形成面向业务分析的逻辑主题，并支持在主题中对表字段进行时间层次、转换规则、参与分组等设置；
语义模型自动继承数据库层的表关系，且可作为私有设置在此基础上进一步修改而不会影响数据库层或其他模型；
语义模型支持多表关联设置，支持左连接、右连接、内连接、全连接方式，并支持按列名、按别名、按外键自动创建表关系，支持一键清除表关系。

支持Javabean、JS等扩展取数接口，满足第三方系统取数、特殊格式数据加载、复杂数据运算等类型的数据分析展现需求；
支持存储过程取数。

展现需求

支持离线报表，在离线状态下可以进行钻取、跳转、改变查询条件等交互分析；
访问密码验证失败5次时，自动删除已下载的离线报表数据，保证离线报表数据的安全性。

★ 直接支持Excel 、WPS作为设计器（不是导入Excel模版，不是类Excel设计器），业务人员能够自己在Excel中完成报表开发。
支持直接在设计器刷新报表，并可指定参数，而不是打开内置浏览器或默认浏览器预览。刷新后，可重置为设计状态。
完全复用Excel函数，支持数学函数、三角函数等Excel函数；支持贴现率、内部报酬率、年度单利、年有效利率、等效利率、内部回报等财务函数；且支持自定义函数。

支持Excel图形及Excel组合图形，如迷你图、帕累托图、子弹图、小又多图等特色图形。

可灵活设计数据采集模板，并发布到PC、手机、平板上进行数据填报，并将数据回写到一张或多张数据库表中。

支持CS结构Excel设计器，含有丰富的仪表盘组件，如轮播控件、跑马灯控件，支持生成各种复杂UI界面。

内置中国及各省行政区域地图，支持地图钻取及回退；支持自定义地图；内置支持百度地图、航线地图、散点地图、热力地图等地图显示类型，支持集成第三方GIS系统。

支持使用ECharts图形库展示，支持瀑布图、关系图、雷达图、油量图、热力图、树图等图形，支持ECharts图形选项配置。
支持3D航线图、3D散点图、3D柱图等3D图形。

★ 能够直接在Word、PPT、Wps文字、Wps演示中进行分析报告的模板设计。
支持动态刷新，并能够直接在模板中更改条件刷新数据，一键转为静态数据报告，也可以发布到WEB端进行浏览查询或结合计划任务，实现分析报告的定期刷新与推送。

支持BS结构拖拽式设计器， 含有丰富的图形组件及控件组件，如Tab页组件、URL链接、文本组件等控件，支持单个图形组件最大化查看、支持跨数据集时按同名字段筛选或者根据设置的关联字段对数据进行过滤，并且支持组件的复制。
支持直接在web端拖放式设计仪表盘， 含有丰富的图形组件及控件组件，如TAB页组件、URL链接、文本组件、图片组件等控件；支持组件的复制。

分析过程中可以将任意字段作为筛选条件，并灵活更改查询运算符，还能根据字段类型智能显示参数控件类型。
分析过程可以根据需要灵活设置查询条件间的组合关系，以及条件间的AND、OR逻辑运算关系。
条件选择框的数据来源既可以从当前字段自动获取，还能从另外的维表获取，解决大数据量下的条件框显示性能问题。

支持聚合、钻取、切片、交叉、行列互换、焦点项等分析方式；支持数据上钻、下钻、旋转、分级排序等分析功能。
即能直接使用语义模型进行分析，也可以基于清单查询的结果集一键进入数据透视模式。
提供同期值、同期增长率、前期值、环比、环比增长率、期初期末值、日均、累计值、增长值等时间计算选项，快速完成时间计算分析。

模块

具体要求

用户统一管理

支持提供用户、组织、用户分组的统一管理功能，包括用户及组织信息增删改查、导出、用户状态管理、用户同步等功能。

用户同步及自定义

支持用户身份信息字段自定义扩展，支持定制外部身份目录对接模板，并支持按秒、分、时、日、月、年等条件灵活设置同步任务；支持对接多个外部身份目录，包括浙政钉、浙江省数字政府IDaaS，实现多源用户、组织机构信息的整合。支持对外提供通讯录同步接口、用户身份信息核验接口，接口支持权限控制及身份校验。★配置不少于8000个活跃用户授权（提供功能截图证明）。

应用发布管理

支持提供应用资源的统一发布及管理功能，支持发布OIDC、Oauth2.0、CAS、SAML、安全代理等应用类型，支持配置应用账号与用户主账号的关联关系，应用配置修改同步更新到零信任应用代理系统。

API发布管理

支持提供API服务资源的统一发布及管理功能，支持配置API白名单、IP白名单及默认API访问策略，支持API接口分级注册，支持管理API接口加密、脱敏策略，API服务配置修改同步更新到API安全代理。

API代理登录

支持为代理的API服务设置自身登录代理能力，支持适配温州市公共数据平台，实现应用通过API安全代理访问接口无需多次登录（提供功能截图证明）。

用户本地账号安全

提供本地用户账号密码安全机制，控制用户登录失败次数及锁定周期，支持设置首次登录密码修改、密码定期修改、密码修改验证等功能。

用户多因子认证

★提供本地账号密码、OTP动态口令认证方式，内置支持企业微信扫码、钉钉扫码、短信验证码、邮箱验证码、浙政钉扫码、浙江省数字政务IDaaS等认证对接方式（提供功能截图证明）。

应用单点登录对接

支持提供OIDC、Oauth2.0、iframe集成等应用单点登录集成方式，提供应用接入服务支持。

认证策略

支持配置用户登录认证策略、用户应用认证策略，按用户组织、应用维度管理用户多因子认证，认证方式可按并行、串行灵活配置，以实现不同用户登录、用户访问不同应用触发不同的认证策略，支持根据用户可信分动态启用多因子认证策略。

应用集成SDK

★支持提供应用认证SDK，用于业务应用认证自身身份可信，支持为SDK提供带外加密功能，以保障其中包含的应用自身身份机密信息安全（提供功能截图证明）。

API访问权限管理

支持API服务访问权限管理，支持按应用、用户、用户组、组织机构进行API权限管理的能力。

API访问会话管理

支持对API安全代理提供应用访问会话集中管理功能，会话状态支持自动创建、维护、销毁，支持在用户权限或登录状态变更等情况下通告API安全代理。

业务日志管理

支持记录用户登录日志、应用鉴权日志，日志内容包括用户名、用户唯一ID、终端信息、时间、认证方式、应用ID、结果等信息，支持接收零信任应用代理上报的日志，并与外部日志服务器、风险分析服务对接，实现日志上报对接。

本地应用系统适配

支持适配温州市公共数据平台目录系统、数据归集系统、共享系统、数据分析系统、开放平台系统等业务系统，在数据及业务层面进行对接，提供单点登录服务（提供功能截图证明）。

安全分析能力扩展

支持通过扩展身份及访问分析模块，实现基于用户访问属性的基线建立、可信分评估，并支持接收外部风险分析平台的风险输入并作出用户认证状态、权限、会话状态等的动态调整和控制。

支持通过扩展身份及访问分析模块，实现对用户、应用API访问请求的分析，自动发现接口返回字段中的敏感信息。

高可用集群

支持提供高可用集群，不依赖外部负载均衡器，系统集群提供性能扩展，确保服务的持续可用和可扩展。