Math

ReadMore - Introduction Transformer Model from Math Perspective BY CHENFENG ([email protected])

博客分享 DeepMind 发表了一篇论文，将机器学习应用于纯数学领域，帮助数学家在纯数学领域中发现新的理论，论文主要从以下两个领域入手。 Knot拓扑学中最基本的三维结构，了解knot的三维结构特征，让我们能够更好的在量子场论，非欧几里得几何学，量子力学，代数学，几何学之间架起桥梁，研究数学各个分支之间的关系。 排列组合，32415 代表着将第一个元素移动到第三个位置，第二个元素移动到第二个位置，第三个元素移动到第四个位置，以此类推。 文章从两个数学领域介绍了ML是如何辅助数学家完成理论的猜测到证明这一过程。 论文解读 机器学习方法与研究纯数学的方法相结合能够更好的发现新理论，我们从最简单的欧拉公式开始，在三维空间中的一个多面体，满足如下表达式，Face + Vertices - Edges = 2，语意上可以理解为，多面体的面数 + 顶点数 - 边数 = 2，设X(z) ∈ Z2 × R2，X(z)表示多面体的顶点数和边数，Y(z) ∈ Z 是多面体的面数，那么就可以构成一个方程，X(z)(-1,1,0,0) = Y(z)，f(X(z)) = X(z)(-1,1,0,0)，这个方程代表着三维空间中两纬多面体，面数，边数，顶点数之间的关系，当纬度扩展到高纬时是否还支持类似的表达式，三纬空间的上述表达式猜想我们可以通过传统的数据驱动去猜测表达式的构成，在高纬的情况下，问题将变得非常复杂。无法通过传统的方式去获得可靠的结论。 上图中的工作流可以理解为： 数学家猜想X(z)和Y(z)之间存在某种对应关系f(x)=y 生成数据，选取特定分布分布状态的数据z，得到X(z)，Y(z) 根据输入X(z)，输出Y(z)，训练模型，得到近似的猜想函数f 根据特征工程理解f对于X(z)变量中的敏感度 数学家根据机器学习得到的f，进一步选择和优化自己猜想中的完整f函数，从而完成从猜想到理论的证明 该工作流从两方面来指导数学家的直觉工作: 通过机器学习来确认数学猜想中已经存在的结构模式关系。 通过特征技术帮助数学家理解这些结构模式。 以下通过两个数学领域的发现来描述机器学习在纯数学领域的贡献。 拓扑学 目前低纬度的拓扑学研究是一个活跃的在数学上具有影响力的领域，knot是三维空间中简单的闭合曲线，对这些闭合曲线进行分类，我们需要通过其他领域的知识来了解knot中的属性，其中一个属性是任意两个knot，如果他们存在代数或者几何上的不变量，那么他们两者就可以归为同一个类。在这里我们主要关注两个，几何不变量和代数不变量，可以参看下图了解这两大不变量。 通过机器学习模型，我们可以发现几何不变量与代数不变量之间的关系，再通过归因分析，找到Y(z)对于X(z)中的哪些因子比较敏感。 最后通过引入natural slope，slope(K) = Re(λ/μ)，meridional translation 代表 μ，the longitudinal translation 代表λ。 得出理论: 存在一个常熟c，对于任意的双曲knot K，存在不等式，|2σ(K)−slope(K)|≤cvol(K)inj(K)−3。 表示理论 组合不变性猜想指出一对排列组合的KL多项式应该可以从其未标记的Bruhat区间中计算出来。 通过监督学习，模型可以从Bruhat区间中计算KL多项式，然后通过一系列的推理，数学家得出如下理论： 每一个Bruhat区间都有一个沿着其极值反射的典型超立方体分解，从中可以直接计算出KL多项式。 结论 抛开上述两个专业领域的数学知识，将机器学习应用于纯数学领域，为数学家提供直觉与灵感，给我们在机器智能的探索上开辟了一条道路。虽然ML只是做了一层铺垫，但是这样可以扩宽数学家的视野。对于在量化领域中使用机器学习，我也是持有同样的观点，那就是ML只是一个中间层，他帮助我们去理解和统计数据，至于从一组数据中得出一个结论，需要靠我们自身的直觉去完成，ML可以辅助我们来激发我们的直觉，所以要做量化交易，我们背后需要学习的是数学物理学理论，在数据的支撑下，通过ML来验证自己的理论猜想，从而开发出能从市场中赢利的交易模型。 ...

比赛 预测高波动率的数字货币市场价格是困难的，G-Research在kaggle.com上发起了一个关于利用机器学习预测数字加密货币收益率的比赛项目，我准备加入该比赛，后期关于比赛的参考资料和模型建立都会更新在该博客板块中。 G-Research Crypto Forecasting

链接 去中心化金融高频交易

介绍 之前写过一篇博客介绍了PolkaBTC的整体架构，这篇博客我们会具体理解PolkaBTC的运作原理，PolkaBTC已经改名为Interlay BTC Bridge，其中之前运行的 Staked Relayer已经合并到Valut模块中。Interlay使用了XCLAIM协议框架，BitCoin资产在比特币链上被锁仓，然后在Interlay链上产生1:1对应的InterBTC代币，InterBTC Token可以在PolkaDOT生态的平行链上使用。对于大部分投资数字货币的投资人来说，跨链是个伪需求，然而参考下整个股市以及期货交易市场，数字货币交易所，他们无非是中心化的，并且用户会转移交换不同种类的资产，到了数字货币的世界，我们希望的是去中心化的交易所，交易所依靠的是智能合约来完成交易，比特币是数字货币的龙头，目前获取比特币的方式我们只能通过交易所或者挖矿，我有ETH，我得将ETH转到中心化交易所，然后兑换成BTC，如果是跨链的去中心化交易所，那么我们可以直接通过跨链协议将资产转移到其他链的Token上，该过程相比中心化交易所而言优点是高效以及安全，想想万一中心化交易所跑路了怎么办？！在后期我的目标是能够采用量化策略在加密货币的世界中获利，这里涉及到算法策略和高频交易量化投资领域的知识。 核心概念 Issue interBTC (铸造代币) Vault 锁定一定数量的DOT代币在InterBTC平行链上。 用户选择其中的一位Vault发起铸币请求，并且发送BTC到选定的Vault账户上。 用户证明已经完成将BTC发送到Vault的交易。 交易被证明之后，用户获得interBTC代币。 Redeem interBTC (赎回代币) 用户锁定interBTC代币 平行链会指引Vault完成BTC赎回操作。 Vault发送正确数量的BTC到用户BTC账户中。 Vault为了获得DOT代币的奖励，需要将与用户交易的凭证发送到BTC-Relay中确认。 如果凭证是正确的，平行链会将DOT奖励发送到Vault的钱包中。 如果凭证是无效的，那么平行链将惩罚Vault，从Vault质押的DOT中扣除一定数量的DOT，并按一定比例偿还给用户。 XCLAIM && BTC-Relay XCLAIM模块主要实现四个协议: 铸造，转移，赎回，替换。它维护系统中interBTC代币的生命周期。 BTC-Relay模块主要被用于确认发生在比特币区块链上的交易，比如用户通过锁仓BTC换取同等价值的interBTC，该用户可以通过BTC-Relay来证明自己的这笔交易确实发生在BTC链上。 Modules interlay BTC 模块之间的相互调用草图

开篇 选择支持该项目的原因: 相信BTC 相信PolkaDot 我们需要去中心化交易所 项目介绍 PolkaBTC 项目是建立在PolkaDot基础上的一条平行链，用来桥接BTC Chain，采用XCLAIM协议，将BTC跨链桥接到PolkaDot生态系统中，代币名为PolkaBTC，BTC资产被锁定在BTC链上，并在Polkadot系统中铸造以1:1为比例锚定BTC的代币PolkaBTC，PolkaBTC像所有PolkaDOT生态中的原生代币一样能够在各个平行链之间相互转换，并且PolkaBTC 桥接项目没有中心化风险，像企业，社区，个人都可以参与到运行BTC平行链的队伍中。 组件 XCLAIM (BTC,DOT) 该组件实现了四种应用协议，分别为issue，transfer，redeem，replace，维护着整个PolkaBTC代币系统。 BTC-Relay 该组件被用于检查和确认在BTC链上发生的交易，比如当用户铸造一个新的PolkaBTC代币，等量的BitCoins将被锁定在BTC链上，之后用户的交易记录可以被BTC-Relay组件捕获和确认。 从上图中可以观察到，User -> (lock Bitcoin) -> BTC-Relay -> verify-Transaction -> XCLAIM -> Issue-PolkaBTC 用户锁定BTC，BTC-Relay确认该锁定交易，并保存BTC区块头，XCLAIM 铸造锚定币PolkaBTC，用户获取未锁定的BTC锚定币PolkaBTC。 我们具体看XCLAIM 具体的实际流程图: (Issue) 用户会将Bitcoin打给Vault (我们可以认为它就是一个去中心化银行系统)，Vault 收到用户打款的资产之后，将会锁定该资产，并通知PolkaBTC系统中的智能合约确认该笔交易，如果确认通过，用户将获得与BTC等价的PolkaBTC Token。 (Transfer & Swap) 交换和转发代币，发送者和接受者只需要通过智能合约来完成这一操作。 (Redeem) 用户赎回对应的BitCoin，用户请求解锁操作给智能合约，智能合约接收到解锁事件之后，请求Vault解锁相应的BitCoin，Vault确认可以解锁，最后用户将收到BitCoin，并将销毁对应的等量PolkaBTC代币。 参与者 Vaults 可以称之为保险库，类似我们生活中的中心化银行，只不过它是去中心化的，运行Vaults需要质押一定数量的DOT代币，它们接收和持有来自交易用户的BitCoin，当用户需要销毁PolkaBTC Token时，Vault将解锁相对应的BitCoin，发送到对用用户的地址。 Users 用户包括，请求者(质押BitCoin，希望获得PolkaBTC)，发送者和接受者，赎回者。 Staked Relayers 运行比特币全节点的抵押机构，监控BTC链上的交易，监控Vault是否有作弊和偷盗行为，如果发现Relayer将会通知BTC平行链，如果Relayer停止运行，则PolkaDOT和BTC之间的桥梁就会中断。 Governance Mechanism 治理机制，监控整个BTC平行链的操作安全，包括Staked Relayers的正确行为，当Staked Relayers出现错误行为时，采用安全策略，手动干预BTC平行链上的所有模块。 模块架构图 PolkaBTC 总共分为七个模块: Oracle 预言机，用于连接中心化交易所和去中心化交易所的纽带，获取代币交换的汇率。 Treasury 财政模块，用于管理用户的PolkaBTC资金库。 VaultRegistry 用于保存保险库的相关信息， ...

To Do DeadLine: 2020-08-30

回忆 还清楚的记得在初中毕业那段时间对数学和理论物理特别感兴趣，自学了高等数学和大学基础物理学，依旧能回忆起第一次喜欢上一位女生就是因为在一起讨论自然科学压轴题的解题思路，课堂上一起辩论弹簧弹性势能的变化问题，还有因为无缘参加萧山区初中生学科竞赛，自然老师第一时间把竞赛题复印出来让我去做然后帮我评分和批改，从那之后我对探索物理和数学充满了愉悦感，进入高一后每天吃完中午饭都会去图书干翻翻科技杂志，后来第一次参加全国高中生应用物理知识竞赛，记得试卷的最后一道压轴题我用了微积分方式去解题，出考场的时候根本就没有想到自己会获得杭州赛区二等奖的成绩，毕竟自己没受过专业的解题训练，学校萧十一中还专门在学期末表彰大会上表扬了我，发了五百的奖金，那个时候的我心里特别开心，我还是特别感激我们高一时候的班主任兼化学老师姚老师，去学校报名的时候，我看到了他手上的科学分数排名单，然后他告诉我以后我就是班级的化学课代表，在每一次的考试中他都会表扬我某一道题的解题思路很清晰。还记得那个时候自己已经开始接触广义相对论原理，每个周天去学校的路上，都会在新华书店站个一到两个小时翻看和相对论有关的书籍和科普资料。 一转眼十五年过去了，现在听着巴赫的小无《恰空》，鼻子一酸忍不住会留下眼泪，对比以前学校时候的自己，现在自己每天重要的事情是努力赚钱，钻研自己喜欢的领域，十五年之后我想重新开始钻研数学，大学四年我立下自己的目标学会小提琴，毕业之后就喜欢上了计算机，开始系统学习Linux，找到了和计算机相关的工作，中途中也玩了摄影和影视。我想现在继续改变自己，有两件东西我永远不能丢掉理论物理和小提琴，现在已经30岁，我要重新拿起自己初高中那段时间喜欢的理论物理学，包括自己创业阶段也希望能和数学物理沾点边，回到最初的起点，累了就练练小提琴，不给自己留下人生的遗憾。正是从这一点出发，我就建立了这个网站，希望能够将自己的所见所闻所感所想全部记录下来。今天看了Wolfram有关他自己发现和解释宇宙终极理论的文章，所以决定花一周时间学习他的图理论，然后将自己学习到的知识和见解记录在这篇文章中，这就是我写这篇文章的动机。 旅程 Wolfram 所总结的理论就是基于简单的规则，然后给定系统初始状态，根据该规则，系统不断的递归演化自身。 规则 ， 符号规则表述 {{x, y}, {x, z}} -> {{x, z}, {x, w}, {y, w}, {z, w}} 初始状态 系统演化过程 规则 符号规则表述 {{1, 2, 3}} -> {{4, 4, 2}, {4, 1, 3}} 初始状态 系统演化过程 这样我们就会去思考能否穷举所有可能的规则，而我们的宇宙正好匹配了我们这些规则中的一部分，比如我们按照相同的开始状态，却按照不同的规则去演化这个系统，我们可以得到如下的样例： 所有这些最终状态的起点都是 这里我们可以想象到弦理论，这个理论告诉我们构成这个世界的最基本形态就是琴弦，琴弦不同的振动频率，就产生了不同的形态，然后这些微小的琴弦经过不断的叠加，最后组成了我们所能看到的物质，Wolfram也是想揭示，宇宙的构成正是由简单的结构加上简单的规则经过不断自身迭代繁衍所产生的。 什么是空间 我们首先基于这条规则{{x, y, y}, {z, x, u}} → {{y, v, y}, {y, z, v}, {u, v, v}}来看下，最后会演化出怎么样的世界。 规则表述: 初始状态: 经过两百步的迭代之后，我们可以得到最终的生成如下，演变过程动画: 这里我们就会发现有些有趣的东西在里面，刚开始是一个简单的自循环结构，然后基于我们的规则开始演化，最后生成了空间中类似片状的网，随着迭代次数继续增加，这个空间中的片演化得越来越稠密，形成了我们熟知的连续可微分流形。 类比我们生活中常见的流水，当我们从稍远的地方看去时，水是一种流体，它的表面都是连续的，但是当我们不对的靠近和放大流水，我们却得到了一个离散的世界，看到了水分子，水分子又由氢原子和氧原子构成，所以我们可以空间是一种离散的组织，通过不断的叠加演化，最终让我们看上去空间好像是连续的。 最后给出上述规则500步的演化动态图: 基于同样的原理，我们能否通过一个简单的规则来演化出一个三维的空间图。 ...

建立个人知识库的思考