京东数科技术说 ? 原创 Apache顶级项目ShardingSphere — SQL Parser的设计与实现
导语：SQL作为现代计算机行业的数据处理事实标准，是目前最重要的数据处理接口之一，从传统的DBMS(如MySQL、Oracle)，到主流的计算框架（如spark，flink）都提供了SQL的解析引擎，因此想对sql进行精细化的操作，一定离不开SQL Parser。Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，需要对SQL进行精细化的操作，如改写，加密等，因此也实现了SQL Parser，并提供独立的Parser引擎。 先来认识一下传统数据库中一条SQL处理流
京东数科技术说 ? 原创 图算法在反欺诈中的应用
在互联网业务开展的过程中，经常面临着黑产的批量攻击，这种攻击渗透在业务链路的各个环节，如注册、登录、营销、交易等等，团伙欺诈对互联网业务开展构成了巨大威胁。团伙欺诈发生时，同一团伙的账号间会存在或显性或隐性的关联，通过深入挖掘这些关联关系，构建账号间的关系网络，可以将这些欺诈团伙一网打尽。 图是表示事物之间关联关系的有效方式，包括节点和边。节点是一种实体，可以是账号，也可以是设备、手机号等，而边表示这些节点之间的关联关系，比如某个账号使用过某台设备，就可以在对应的账号和设备节点之间建立一条边。图又可分同构图
京东数科技术说 ? 原创 JUST技术：驻留点应用及经典检测算法解析
随着定位技术的不断普及，嵌入在手机和PDA设备内的GPS、北斗等位置传感器周期性地记录移动对象的位置，从而产生了海量的轨迹数据。用户为分享行程可能主动记录自己的轨迹，物流派送车、出租车、共享私家车等由于运营监管的需要可能被动地记录轨迹位置信息。 这些轨迹数据背后的想象空间极大。利用轨迹数据，我们可以用来估计全城的车流量、通行时间、补全现有地图等等。而为实现这些应用，我们通常会对轨迹数据进行预处理，剔除掉一些时间连续且空间上非常临近的点（下文简称驻留点），因为驻留点会影响上述应用的精确度。 然而，这些被丢掉的
京东数科技术说 ? 原创 ITest：京东数科接口自动化测试实践
导读：你是否为每天“点点点”的工作而感到索然无味？你是否苦于没有合适的工具而对复杂的测试任务望而却步？频繁变动的接口，重复的功能测试，你，疲惫么？京东数科平台开发团队基于日常接口测试经验，开发了接口测试平台——ITest。通过此平台让研发流程更高效，让测试回归测试本身，做适配数科场景的通用接口测试平台。本文将从需求背景、平台特性、架构设计、未来规划几方面详细阐述ITest助力接口自动化测试在京东数科的最佳实践与探索。 一、需求背景 接口测试位于测试金字塔的中间层，与业务关联度较高，测试及运行成本适中，同.
京东数科技术说 ? 原创 2000万数字人民币红包开抢！首次支持线上消费（含攻略）
12月5日，苏州市人民政府联合中国人民银行开展的数字人民币红包试点工作正式启动预约。该试点结合“双十二苏州购物节”，将面向所有符合条件的苏州市民发放总计2000万元的数字人民币红包。红包数量共计10万个，每个红包200元，并于12月11日20:00正式生效。 此次数字人民币使用的亮点之一，是支持市民在京东商城购买自营爆品时使用数字人民币支付，京东商城也成为试点中首个接入数字人民币的线上场景。 与此同时，市民可在苏州市辖区内近万家线下商户无门槛消费，京东旗下五星电器、京东之家、京东便利店等线下场景均支持使用数
京东数科技术说 ? 原创 分布式时序相似查询初探
时序数据，即随时间变化的数据，在人们的日常生活中无处不在。过去的近十年来，随着电子监控和智能穿戴等设备的普及，更是产生了海量的时序数据。例如，经过多年的发展，火力发电行业的数字化程度已经达到了很高的水平，以一台60万千瓦的中型火电机组为例，其内置的上万个传感器，每秒可产生数万条实时监控数据。 其中，时序相似查询，即查询出与给定序列q最相似的k个序列，可用于推荐、聚类和异常检测等上层应用。在小规模数据下，时序相似查询是没有问题的，只要将给定序列q与数据库中所有数据进行两两相似性计算后取Top-k即可。 但是，
京东数科技术说 ? 原创 2020 ICDM 知识图谱竞赛获奖技术方案
导读：ICDM（IEEE International Conference on Data Mining，简称ICDM）是数据挖掘领域的国际顶级会议。京东数科硅谷机器学习算法组朱翔宇带队在Knowledge Graph Contest（知识图谱大赛）中获得季军。本文将介绍2020 ICDM中的获奖方案和在 Workshop中分享的内容。基于BERT做了Finetune，引入了一种全新的视角来重新审视关系行为原因提取任务，并提出了一种新的序列标记框架，而不是单独提取行为类型和行为原因。 一、问题背景 .
京东数科技术说 ? 原创 突破DevOps瓶颈：京东数科自动化测试平台建设实践
一、了解什么是DevOps DevOps的目标是实现软件系统的快速交付、并且提升系统稳定性和获得用户良好的反馈。不知道是不是有些同学和我一样，仅仅靠单纯概念性的描述比较难以理解什么是DevOps。 就好像我们常常说要养成“良好的生活习惯”，那这个“良好的生活习惯”可能会包含：早睡早起、健康饮食和合理锻炼锻炼等等具体的行为。其实DevOps这个有点抽象的概念也是由一系列具体的行为和软件工程实践组成的。包含：基础设施即代码、CI/CD、自动化测试、容器化、服务编排、自动化部署和软件度量等。 CI/CD流水线是决
京东数科技术说 ? 原创 2020京东全球科技探索者大会来啦！三大体系CEO约你来开会！
来了来了，一年一度JDD 京东全球科技探索者大会来了！ 11月25日 北京新国展 我们的三位CEO 正在约你一起来开会！ 不仅是他们 还有科技界、产业界、学术界、投资界等 近百位领军人物及跨行业意见领袖莅临现场 来，看看都有谁 倒计时1天 我们共同见证零售、物流、智联云、数科 四大业务板块全新技术产品发布 倒计时1天 我们共同见证京东推出未来十年的 新一代基础设施 检阅京东以供应链为基础的技术与服务 全面支持实体经济的技术成果 倒计时1天 我们共同见证京东宣布对量子计算 去中心化计算 等六大领域
京东数科技术说 ? 原创 基于深度学习Seq2Seq框架的技术总结
随着互联网经济的普及定位技术的快速发展，人们在日常生活中产生了大量的轨迹数据，例如出租车的GPS数据、快递配送员PDA产生的轨迹数据等。轨迹数据是一种典型的时空数据（Spatial-Temporal Data），是按照时间顺序索引且空间变化的一系列数据点。在时空数据的数据挖掘中，我们也会大量借鉴在自然语言处理等时序数据中发展很成熟的技术。 本篇文章为您带来的是Seq2Seq（Sequence to Sequence）模型的技术总结。将着重介绍三个里程碑式的方法，Sequence to SequenceLea
京东数科技术说 ? 原创 如何用Fraudar对抗复杂网络关系下的刷单欺诈？
一、从刷单谈起 一年两度的618和双十一，是电商和剁手党在仲夏和金秋的两场盛宴，也是刷单党的两场狂欢。竞争与压力之下，刷单成为了新入商户和低信用商户在官方选择之外速度最快的店铺成长方式。它们按订单价格及数量向“刷单军团”支付刷单佣金来提升虚假销量和好评，从而获取更好的信誉度和搜索排名。对于时间充裕的社会群体如学生党和宝妈而言，刷单也正好可以成为其动动手指就能月入千元的低风险副业。可以说电商的发展，滋生并带火了一个由出资店铺、刷单中介、各级代理、刷手、空包物流组成的刷单产业。但其繁荣的背后，本质仍是恶意炒作信
京东数科技术说 ? 原创 联邦学习&云计算&边缘计算的应用场景及异同点
本文主要讲解联邦学习与云计算、边缘计算这三种技术的概念以及三者的应用场景及异同点。 一、联邦学习 联邦学习是一个分布式的机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。其技术能有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。 根据参与各方数据源分布的情况不同，联邦学习可以被分为三类：横向联邦学习、纵向联邦学习、联邦迁移学习。联邦学习的侧重点是在多方数据不出库的情况，通过加密技术实现多方之间的数据传输
京东数科技术说 ? 原创 JUST技术：高效时空索引揭秘及使用指南
一、问题背景 城市中超过80%的数据都与时空有关，如加油站点、出租车轨迹、交通路况等。这些数据多为半结构化和非结构化数据，并且需要管理的数据量巨大。 传统的时空数据库管理海量数据时会出现性能严重下降的情况，如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。为此，GeoMesa提供了大量的时空索引工具管理时空数据。但是，它支持的时空类型不够全面，并且在有些场景下它提供的索引效率很低。因此, 我们在GeoMesa的基础上研发了JUST引擎。 我们提
京东数科技术说 ? 原创 一文读懂联邦学习的前世今生（建议收藏）
前言 联邦学习（Federated Learning）作为人工智能的一个新分支，为机器学习的新时代打开了大门。如果投票问人工智能和大数据应用领域有什么好玩又好用的新技术，“联邦学习”一定是排在前列的。 这项技术由谷歌在2016年首次提出，从2018年8月开始在国内快速发展和普及，截至2020年2月，有公开资料可查的联邦学习研究或应用单位已超过百家，阿里、微众、京东、腾讯、华为、平安等各领域的头部企业均在大力推进。身边做技术和业务的朋友都在说：忽如一夜春风来，联邦学习突然就在圈子里传播了，在聊天中不发表点联邦
京东数科技术说 ? 原创 只看这三点就够：快速了解联邦学习框架！
近年来，联邦学习(Federated Learning)井喷式的概念性文章层出不穷，当联邦学习的理念已经逐渐被行业认可到加以重视，从理论走向实践便是一条需要快马加鞭之路。 联邦学习其核心就是一个分布式的机器学习。通过传参数，不上传数据的方式做分布式的机器学习，相较于传统分布式机器学习，其实现了数据隐私保护。通过整合各个节点上的参数, 不同的设备可以在保持设备中大部分数据的同时，实现模型训练更新。当前市场上已经出现了一些联邦学习框架，但能真正用于实际生产的屈指可数。正是因为联邦学习涉及的技术领域之多，并且需要
京东数科技术说 ? 原创 薅一天吃一年？！揭秘京东数科11.11背后的反黑产“暗战”
在某电商平台购物节期间，大二学生晓敏凌晨3点被一串“夺命连环call”震醒，拿起手机后，他瞬间清醒，这个“羊毛”必须得薅！ 信息提示，该平台出现一个巨大漏洞，用户可以领取100元无门槛优惠券，作为整个黑产组织中的一员，他需要快速调整脚本软件，以免被“同行”抢占先机。 晓敏的判断没有错，不久之后，群中就有人晒出了一份薅到90余万元电子币的账单截图。据后来的新闻报道，直到被发现，平台已经被盗取数千万元优惠券，虽事后平台紧急处理，但依然造成了不少损失。 每年双十一，无论是各大电商平台还是众多商家，都会投入资金来做
京东数科技术说 ? 原创 深度解读京东金融App（Android）的秒开优化实践
一、启动优化项目背景 2018年京东数科成立中台部门，要求将公司各种技术沉淀复用，实现降本增效提质，京东数科mPaaS应运而生，解耦、组件化、能力提升改造等成为重要的工作之一，启动速度正是在中台大战略的背景下被提上日程。本文主要分享京东金融移动端Android启动速度优化的实践。 在App功能日益增加和用户体验不断改良的今天，App启动速度，已然成为影响用户体验的第一道门槛。所谓快，其实是在用户感官上的一种反应，如果能够使用以上的手段对App的启动速度优化，虽然实际上启动时的总操作量可能并没有真正减少，但经
京东数科技术说 ? 原创 京东数科郑宇再获ACM SIGSPATIAL十年影响力论文奖
近日，GIS（地理信息系统）领域国际顶会ACM SIGSPATIAL揭晓了2020年度“十年影响力论文奖”，由京东城市总裁郑宇作为项目主要成员撰写的文章T-Drive: Driving ...
京东数科技术说 ? 原创 从技术到应用实践 揭秘京东区块链布局全景
从提出到现在，国内外的科技巨头都在加紧布局产业区块链，并在区块链的场景化应用落地方面不断加速。目前看来，区块链技术毫无疑问在未来拥有广阔的发展前景，但在与各产业深度结合之后，其可能碰撞出...
京东数科技术说 ? 原创 京东数科国际顶会和期刊论文7连发，核心研究成果公布！
日前，京东数科的JACOBI区块链创新实验室对外发布一系列阶段性国际顶级科研成果，包括Dumbo（小飞象）协议、Dumbo-MVBA协议、区块链身份管理协议、存储时间证明等，覆盖了共识协...
京东数科技术说 ? 原创 京东数科再登央视新闻联播，以数字科技推动产业发展与民生改善
新一轮科技革命带动数字技术强势崛起，促进产业深度融合，引领服务经济蓬勃发展；与此同时，数字化技术与应用，也正在深刻地改变着产业格局与居民的生活方式。2020年中国国际服务贸易交易会（以下...
京东数科技术说 ? 原创 他们凭什么成为京东数科最强研发战队？
最强研发战队，在此集结！京东数科“探索杯”第三届专利评审会于2020年7月10日顺利举办。来自九个部门的十件优质专利在评审中脱颖而出，获得奖项。另外来自机器人产品部、智能城市部和资管科技...
京东数科技术说 ? 原创 区块链普惠云签扶持计划 京东数科助力中小企业复工复产
新冠疫情导致中小企业生产经营面临极大挑战，为帮助中小企业化危为机，提升创新发展能力，从中央到地方均陆续出台了一系列支持企业数字化转型的政策。区块链技术作为数字经济时代的一大基础设施，伴随...
京东数科技术说 ? 原创 揭秘京东数科618背后的技术密码
今年618，我们给用户提供了数十万件免息商品以及20亿金贴等优惠活动。在你剁手买买买的背后，是各种安全与技术默默为你保驾护航。我们采访了几位京东数科的小伙伴，让他们给大家分享618背后的...
京东数科技术说 ? 原创 京东集团正式于港交所主板上市 募资298亿港元用于供应链关键技术创新
6月18日，京东集团股份有限公司（简称“京东集团”）正式于香港联交所主板上市，股票代码为9618。京东集团此次香港公开发售获得超额认购179倍，国际发售与香港公开发售价最终为每股226....
京东数科技术说 ? 原创 京东数科 Mr.AI在未来生长
插画/RON他们致力于以AI驱动产业数字化，为最前沿的技术赋予最大的商业和社会价值。他们是一群在未来生长的人，能将AI技术融入到产业中洞悉前景，并具备将未来全景图变成现实的能力本文...
京东数科技术说 ? 原创 京东第一位博士后出站 看看他研究的是什么“黑科技”
“技术大牛”、“京东第一位出站博士后”、“网络黑产斗士”……林元晟身上有很多标签。但当他出现在眼前时，你很难将这位一身运动服、谈吐随和的年轻人跟这些标签联系起来。林元晟并不是普通人想象中...
京东数科技术说 ? 原创 京东数科首度公开联邦学习战略全布局
日前，京东数字科技集团AI实验室首席科学家薄列峰首次对外披露了京东数科联邦学习战略全布局，向业界介绍了京东数科独创的快速安全的联邦学习框架。薄列峰还分享了京东数科两项业界首创的技术突破—...
京东数科技术社区倡导“突破 · 开放 · 专注 · 极致”的技术文化，对内将经验总结沉淀，对外彰显数科技术实力，打造致力于分享数科技术最佳实践&技术创新的交流学习平台。