历史上的今天
今天是：2025年01月11日（星期六）
2021年01月11日 | 英特尔、第四范式联合研究成果入选国际顶会VLDB
2021-01-11 来源：EEWORLD
近日，英特尔与第四范式联合实验室以及新加坡国立大学的最新联合研究成果——基于英特尔® 傲腾™持久内存的特征工程内存数据库，被国际顶级数据库学术会议VLDB（Very Large Data Base）作为常规研究论文录取。VLDB与SIGMOD并称为数据库业界的两大最顶级学术会议，收录研究机构以及工业界在数据库领域最前沿、最顶级的研究成果。英特尔与第四范式此次合作录取的论文以解决在线预估系统的业务需求和痛点为目的，针对如何设计底层数据库组件来高效支撑万亿维稀疏特征在线预估系统，以及如何基于英特尔® 傲腾™持久内存进一步解决业务和系统设计的痛点等两方面进行创新性设计和全面优化。
如今，越来越多的企业意识到了AI在企业经营、决策中的重要作用，AI迎来了落地应用爆发期。作为AI落地的关键组件，超高维在线预估系统基于实时提取的超高维特征和预先训练的模型对业务数据进行实时评估，因而被广泛应用在欺诈交易识别、个性化推荐等在线实时推理业务场景中。
为了支撑高性能的实时特征存取需求，业界诞生了诸多实时内存数据库。然而，伴随着业务的持续扩张和数据量的指数级增长，实时内存数据库所存在的潜在弊端与风险使其难以高效、低成本的满足不断增长的业务硬实时需求：
- 高性能特征存取对计算资源消耗巨大：为了保障线上服务的性能，特征工程内存数据库对内存的容量要求极高，企业通常需要配备20-30台机器以满足高性能计算需求所需的内存容量，总体拥有成本（TCO）居高不下。
- 服务中断恢复所需周期长，严重影响企业线上服务质量：企业线上服务对服务质量的要求极高，然而通常情况下服务中断（软硬件错误宕机、例行维护等）往往需要几个小时的恢复时间，业务长时间掉线严重影响线上服务质量。
- 长尾延迟：使用基于内存的特征工程数据库保障了线上服务的高性能，但是数据备份依然会落盘到性能较差的外存储设备上，导致某些场景出现长尾延迟，严重影响服务质量。
为解决以上问题，第四范式自主研发了实时特征工程内存数据库FEDB（Feature Engineering Database）。作为面向AI硬实时场景的分布式特征数据库，FEDB所具备的高效计算、读写分离、高并发、高性能查询等特性，使得特征工程的效率和性能达到最大化。
在充分发挥FEDB价值的基础上，第四范式引入英特尔® 傲腾™持久内存技术，以及创新性的持久化数据结构，全面支撑AI硬实时、低成本、高计算性能等需求的实现。双方基于英特尔® 傲腾™持久内存，使用App Direct Mode，开发优化持久化数据结构，完全摒弃了FEDB原有的基于外存储设备的数据持久化架构，不仅充分利用了持久内存大容量、持久性的特性，而且将持久化操作带来的性能损耗降至最小。
该工作主要的创新性优化技术包括“持久化智能指针”以及利用原子操作“持久化比较并交换”（Atomic Persistent Compare-And-Swap"）的解决方案。一方面，持久化智能指针巧妙地利用了64位操作系统中64位宽指针不被使用的低4位来标记目标地址的数据是否已持久化；另一方面，针对“比较并交换操作”（CAS），传统指令缺少持久化语义，因而无法在持久内存中直接作为带有持久化特性的原子操作来使用的难点，双方引入了新的“读前持久化”（flush-before-read）概念，利用持久化智能指针，保证“持久化比较并交换”（Persistent CAS）正确性的同时，最大化减少持久化带来的性能损耗。
此项工作的研究成果表明，基于英特尔® 傲腾™持久内存的FEDB可有效满足企业超高维稀疏特征在线预估场景的需求，在保证线上推理服务超高性能的同时，大幅降低了企业AI整体投入成本，提升了线上服务的质量，进一步扫清了企业AI规模化应用的障碍。
- 英特尔® 傲腾™持久内存的加持满足特征工程数据库对大内存的需求。下图显示了在论文实验中使用的机器配置，在10TB数据的业务场景中，基于持久内存的FEDB的硬件成本仅为基于纯内存版本的41.6%。
硬件成本比较（10TB业务数据）
- 在服务中断情况下实现数据快速恢复，服务恢复时间减少99.7%，全面降低对线上服务质量的影响。如在论文中描述的结果（见下图，PA-FEDB为基于持久内存优化的FEDB，D-FEDB为内存版本的FEDB），在实际业务场景中，其数据恢复时间从原来的六个小时缩短至一分钟左右。
数据恢复时间比较
持久内存（PA-FEDB）vs. 纯内存（D-FEDB）
- 基于英特尔® 傲腾™持久内存进行持久化数据结构设计的FEDB舍弃了原有纯内存方案以及基于外存储设备的备份机制，实现了长尾延迟（TP-9999）接近20%的改善（见下图，PA-FEDB为基于持久内存优化的FEDB，D-FEDB为内存版本的FEDB ）。
长尾延迟TP-9999比较
持久内存（PA-FEDB）vs. 纯内存（D-FEDB）
未来，英特尔与第四范式联合实验室还将在软硬一体技术、面向AI的高性能计算等方面展开深入合作，结合英特尔领先的软硬件产品以及第四范式在AI领域的深厚积累、研发优势，推动AI技术的创新和落地，加速企业规模化AI应用进程，共同引领AI产业化发展。
史海拾趣
|
本帖最后由 jameswangsynnex 于 2015-3-3 20:00 编辑 本篇技术解答说明了利用Hitachi HD44780或一个兼容控制器在LCD和VFD显示器上创建用户字符的方法 这里所描述的代码建立在ICOM.LIB 库里的显示函数基础上 ICOM.LIB是一个智能终端驱动库&nb ...… 查看全部问答＞ |
|
本帖最后由 jameswangsynnex 于 2015-3-3 20:00 编辑 巨盛CSC3800 datasheet:带USB、SD、MMC、MS controler,带MP3/WMA decoder. 网上很难找的哦，需要的下吧。 … 查看全部问答＞ |
|
给UPS电源配备一台理想的适用的稳压电源需注意以下几个方面： (1).稳压电源必须提供可靠的市电过压输入保护功能。除参数稳压器在极限工作条件下，可在市电输入电压高达300V时长期向负载提供220V稳压电源外，其它几种交流稳压电源所允许的市电上限都 ...… 查看全部问答＞ |
|
看到书上说 64位机的内存就可以认为是无限的（科学家估计已知的宇宙有2的70多次的粒子），但64的意思应该是说有64个位吧，但这和内存是怎么产生关系的？看到书上知道64个位有64个数据线，可是地址线和位数的关系就不明显了，一个地址用 ...… 查看全部问答＞ |
|
继之前三篇体验心得 BB Black初体验一 BB Black初体验二 BB Black初体验三 今天花了一整天终于解决把μSD中的debian系统给跑起来了。十分开心，跟大家分享下。 首先，要说明下子，一是μSD卡中运行debian，而不是烧写到eMMC中，珍爱板子，少擦 ...… 查看全部问答＞ |
|
TMS320F28335项目开发记录8_28335之GPIO引脚 GPIO（General-Purpose Input/Output）——通用输入/输出口； DSP28335 GPIO模块分为三类IO口：PORTA(0-31),PORTB(32-63),PORTC(64-87) 对GPIO模块的设置主要通过三类寄存器来完成，分别是：控制寄存器、数据寄存器、 ...… 查看全部问答＞ |
|
用ULN2003做8路舵机驱动电路，ULN2003 1——7脚接单片机输入PWM，8——16输出给舵机 ，像图这样接线可以吗？第一次做这个，求大神助攻 … 查看全部问答＞ |