MorePowerTool_1_3_19 MPT离线包下载与使用 - 哔哩哔哩
PowerTool_1_3_19 MPT离线包下载与使用 - 哔哩哔哩 MorePowerTool_1_3_19 MPT离线包下载与使用FiveM_Jiao1911关注专栏/MorePowerTool_1_3_19 MPT离线包下载与使用MorePowerTool_1_3_19 MPT离线包下载与使用
2023年08月02日 02:55--浏览 ·
--喜欢 ·
--评论
FiveM_Jiao1911粉丝：4933文章：20
关注专栏前言：之前找了好几个版本的MPT下载都是显示404网站，直到找到了这个 MorePowerTool1.3.19版本，目前发文章的时间是最新版本，后面肯定还会更新，到时会直接在网盘内更新，保存这一个链接即可。链接：https://pan.baidu.com/s/1IRO9C7g_tclVov9A2S7ctQ?pwd=1911 提取码：1911MorePowerTool_Setup_1_3_19离线包与安装包链接离线包解压密码：Jiao1911使用方法：我使用的是瀚铠6800XT 16G，参数设置仅供参考第一步打开GPU Z 获取你的BIOS，将BIOS保存第二步，保存好之后打开MPT，最好以管理员运行打开后选择LOAD加载你刚刚保存的ROM文件加载好后，就可以修改你所需要的参数。修改参数非公可以参考我这个修改，但建议功耗墙在335-350之间，电压也需要看自身情况修改，这个也得看你的电源。修改后记得点Write SPPT写入注册表如果没有更高的功耗墙需求，实际上200w左右的6800XT性能与功耗比最优，200w就可以发挥出7-9成左右的性能，也是按需修改。双8PIN的理论是 150W一根8PIN线 两根就是300W 然后PCIe提供75W供电，总375W，但实际还是要参考你卡上的供电模块数量，太少的不建议超过375W甚至要调的低一些。修改0dB风扇方法：修改后记得点Write SPPT写入注册表萌新一位，如有不对的地方，可以提醒我进行修改以上内容，备注一句，超频或修改原厂参数有可能损坏硬件，如出现任何软件问题或硬件损坏，本人概不负责，还请谨慎操作。如需恢复出厂设置，请将保存出来的ROM文件，选择Write SPPT写入即可。最后编辑日期:2023年8月2日Jiao1911编辑本文为我原创
显卡
AMD
5000系
6000系
功耗墙
MPT
解锁功耗墙
6800XT
MorePowerTool_1_3_19
MPT1.3.19
分享到：
投诉或建议评论------
现代资产配置（MPT）理论 - 知乎
现代资产配置（MPT）理论 - 知乎首发于量化交易&宽客切换模式写文章登录/注册现代资产配置（MPT）理论JoinQuant聚宽量化 官方账号导语：资本市场上有诸多风险资产，各有不同的收益率和波动率。为了分散风险，我们一般会同时持有多种不同的资产，但是如何合理地进行配置是个难题。配置不好的话可能不光分散了风险，也对冲没了收益。本文要介绍的，就是著名的现代资产配置（MPT）理论。阅读本文需要掌握效用和风险模型（level-1）的知识。本文是一系列文章中的第三篇。本系列从基础概念入手，推导出 CAPM 模型。系列中共有四篇：效用模型风险模型MPT 模型CAPM 模型概述金融资产配置的目标是将投资资金合理地分配在多种资产上，在将风险控制在一定范围内的同时把收益率最大化。其中最著名的理论是现代资产配置理论(Modern Portfoilio Theory)，简称 MPT，由 Markowitz 在1952年提出。MPT 的核心思想是以最小化标准差（或同理的，方差）并最大化预期收益为目标来进行资产配置，有时也称为均值-方差分析(Mean-Variance Analysis)，是金融经济学的一个重要基础理论。模型和假设在 MPT 模型中，我们假设投资者对一个资产的风险的认知等同于该资产的收益率变量的标准差（见风险模型）。因此，任何一个资产或者资产组合都可以根据其收益和风险被放在一个二维图坐标图上，该图的横轴是收益率的标准差，竖轴是收益率的预期值。投资者追求的是风险低并且收益高的资产配置。因此，固定收益率不变，我们要将风险降到最低，也就是要得到最小的横轴值；或者固定风险不变，将收益率提升到最高，也就是要得到最大的竖轴值。假设市场上有 n 种不同的金融资产（可以狭义地想象为股票） 1,2,…,n。对于某一资产 i ，用 ri 表示该资产的收益率的随机变量，E[ri] 表示收益率的预期，σi 表示 ri 的标准差。我们将市场上所有收益率方差大于 0 的资产叫做风险资产(risky assts)，将收益率没有不确定性的资产叫做无风险资产(risk-free assets)。并且，假设市场上所有无风险资产的收益率是一样的，叫做无风险利率(risk-free interest rate)，写作 rf。一个风险资产配置(risky portfolio) P 是由风险资产 i=1,2,…,n 按照某个权重比例组成的，每一个资产 i 在 P 中的权重是 wi，满足 \Sigma _{i=1}^{n} w_{i} =1。我们假设市场是完全开放的，并且可以无限制地买多或卖空，因此 wi 可以是任何实数。根据单个资产的收益率，可以计算资产配置 P 的收益变量的一些性质。首先，资产组合收益率的随机变量是它的预期收益是方差是并且有标准差有效前沿现在，我们固定预期收益，然后拥有该预期收益，并且标准差最小的资产组合。也就是说，对于任意一个预期收益值 μ，找到一个由配置权重 w=(w1,w2,…,wn) 定义的资产配置 P，要求 P 的预期收益率为 μ，并且，在所有可以配置出的预期收益为 μ 的组合中，P的方差是最小的。用最优化问题表示出来的话，就是这个问题的最佳解用 Lagrange 乘子的方法可以找出，但解决过程比较复杂，这里就不多做解释。对于每一个值 μ，我们求得一个风险资产配置 P，满足 E[rP]=μ，并且 σP 是最小的。将这些最优解画成图，在标准差-预期的坐标上得到一条抛物线。根据计算所用到的资产的信息不同，这根曲线会不尽相同，但基本上遵循这个形状。这条曲线被叫做有效前沿(efficient frontier)。由于它的形状像一枚子弹尖，所以有时也叫做马科维兹子弹(Markowitz bullet)。有效前沿存在一个波动率最小的位置，也就是图中曲线最靠左的地方，并且在这个点以上的位置才是真正“有效”的；我们是固定预期收益算得的最低风险而得到的这条曲线，如果再固定风险并选择最大的预期收益，则会筛选掉有效前沿的下半部分。所以，很多时候人们所说的“有效前沿”会特指上半部分。我们举个例子。风险资产采用从沪深三百股票池中随机选出的五支股票，取 2014 年到 2016 年的所有收盘价数据，经计算得出它们的平均日均收益率分别是并且收益率的标准差是画在协方差-预期轴上，如下图中的五个蓝色三角是我们模型中选用的五支股票；背景中的粉点是沪深三百中的其他股票，作为参考。计算这五支股票收益率的协方差，得到矩阵这个矩阵的 (i,j)位置是第 i 和第 j 个资产之间的协方差。通过穷举出用五支股票可以组成的资产配置（允许一定限度的卖空），绘出一个看起来很好吃的图图中的每一个点代表一个风险资产组合，颜色偏绿代表夏普比率高，偏紫的代表夏普比率低（下一节会介绍夏普比率）。图中最左侧勾勒出来的曲线就是以这五支股票所构成的有效前沿，是在固定收益率的情况下能配置出的最小标准差。有效前沿上风险最少的配置（最左侧的顶点）有标准差 0.0212，并且有预期收益率 0.00202。上图中紫色五角星就是最低风险的配置，它的预期收益大约是五支股票的平均，但风险要小于其中的每一支。理论上的有效前沿是无限延伸的，并且前沿右侧的所有空间都是可以通过配置这五支股票得到。因为计算量的有限性，看上去很好吃的图里只包含了可行资产配置里的一部分，不过其中已经包括了本模型中最重要的一个股票组合。是什么呢？加入无风险资产有效前沿左侧的区域是通过风险资产无法配置出的。但是！如果把无风险资产加入资产配置，那么左侧的一些位置是可以获取的。我们选择有效前沿上的一个资产配置 P，并选择比例 α≥0，将本金的 α 配置于 P，并将 1−α 配置于无风险资产。如果 α≤1，那么 1−α≥0，也就是说，我们将 1−α 倍的本金存入银行或买入债券，获取那部分的无风险利率。如果 α≥1，那么 1−α≤0，意思是，我们贷款本金 α−1 倍的资金，支付无风险利率，并用贷款连同本金一并配置于 P。如此，以 α 为系数，使用 P 和无风险资产配制出一个组合，我们将它的收益随机变量记为 rα。计算得到和上面的有效前沿的计算不同，这里 σα 和 E[rα] 不是复杂的多项式关系，而是简单的线性关系。因此，将所有 α≥0 所对应的点画出，我们得到的是穿过 (0,rf) 和 (σP,E[rP])的整条射线。如上图所示，如果蓝点是无风险利率，红点是一个有效前沿上的风险资产配置 P，那么黄线上的所有点都是可以按照一定比例配置无风险资产和 P得到的。使用常用的直线坡度计算方法，所得的黄线的坡度是 P 和 无风险资产的收益差除以它们的标准差的差。也就是，这就是著名的夏普比率(Sharpe ratio)。市场组合和资本市场线经计算可以证明，用市场信息计算得来的有效前沿上必定有一个夏普比率最高的点，我们将其叫做市场组合(market portfolio)。我们知道，一个配置的夏普比率等同于连接无风险资产和这个配置的直线的坡度；那么市场组合的夏普比率最高，就意味着它连接无风险资产的线坡度最陡。因此，这条线必定与有效前沿构成切线关系，如下图所示。图中的蓝点是无风险资产，红点是市场组合，穿过它们的射线叫做资本市场线(capital market line)。红点和蓝点之间的位置是将一份资金存于无风险资产，并将余下资金买入市场组合而得到的；红点右侧的位置是以无风险利率进行一些贷款，并将本金连同贷款全部买入市场组合的配置。设无风险利率为 rf，市场组合为 M，并且市场组合的夏普比率为 S_{M} 的话，资本市场线的公式为资本市场线的意义在于，固定标准差，那么市场上收益预期最高的投资组合在这条线上；或者，固定预期收益，那么市场上标准差最低的投资组合在这条线上。所以，资本配置线可以直观地理解为理论上的“最佳配置线”。实际中，无风险利率不是唯一的，贷款和存款所支付的利率也不是一样的。为了方便起见，我们一般会把国债的利率作为模型中的无风险利率。现在，在之前的示例中加入无风险资产进行计算。按国债年化利率为 4% 来计算，无风险的日化利率为计算得知，有效前沿上最高的夏普比率是 0.11885，由此得知资本市场线的公式为将资本市场线画出，如下资本市场线和有效前沿相切在夏普比率最高的资产配制上，我们将这个组合称作 M。计算可得，该组合的日化预期收益率为 E[rM]=0.0037746，并且标准差为 σM=0.030439。将其与原生的五支股票以及最低风险组合进行对比，如下图图中红色五角星是组合 M，黑线是资本市场线。再假设，我们想用这五支股票和无风险资产配制出预期日化收益率为 0.003 并且风险最低的组合，那么就应该去资本市场线上找相应的位置。设我们要找的组合是由 α 份 M 和 1−α 份无风险资产构成的，利用资本市场线的公式倒推的标准差用第四节中所述的公式得出因此，该组合中每个 1 元钱的配置比例为 0.786 的 M 以及 1−0.786=0.214 的国债。对应下图中的红方块。这个新的股票组合的预期收益率高于它的五个成分股，但风险比其中的每一支都低。结语一个资产组合的预期收益是它的成分资产的线性加权平均，但组合的波动性和风险却更复杂，是由成分资产两两之间的相关性决定的。在 MPT 模型的分析中，通过合理地配置资产，可以在保证高收益的同时也降低风险。理论上，最优的风险组合就是夏普比率最高的市场组合。在本系列的下一篇文章中，我们将介绍著名的 CAPM 模型：在已知市场组合的定价的情况下，该如何推算市场上其他风险资产（或风险组合）的收益率。到JoinQuant查看策略并与作者交流讨论：【量化课堂】MPT 模型发布于 2016-10-25 13:05量化交易金融数学赞同 17616 条评论分享喜欢收藏申请转载文章被以下专栏收录量化交易&宽客发布JoinQuant 社区的好文章，量化投资的干
MPT-7B：开源，商业可用，性能堪比LLaMA-7B的LLM新成员 - 知乎
MPT-7B：开源，商业可用，性能堪比LLaMA-7B的LLM新成员 - 知乎首发于AI技术与应用切换模式写文章登录/注册MPT-7B：开源，商业可用，性能堪比LLaMA-7B的LLM新成员北方的郎模型与代码简介：Meta开源了LLama，不过有很多限制，很难商业运用。于是现在MosaicML开发了MPT-7B模型，它是一个基于Transformer在1T文本/代码Token上训练出来的模型。该模型开源，与LLaMA-7B模型效果相匹配，而且可用于商业用途。代码：https://github.com/mosaicml/llm-foundry/模型：mosaicml/mpt-7b-instruct · Hugging Face演示：MPT-7B-Instruct - a Hugging Face Space by mosaicml博客：https://www.mosaicml.com/blog/mpt-7b看过资料后感觉MPT-7B作为一个高效LLM模型的同时，也是MosaicML推介他们AI平台的一个广告。后续资料主要翻译自MosaicML的博文，翻译过程中内容有所修改，如果其中出现“我们”等字眼，指的都是MosaicML。介绍MPT-7B：开源，商业上可用的LLM的新标准MPT-7B在9.5天内在MosaicML平台上进行了培训，零人工干预，成本为~20万美元。从今天开始，你可以训练、微调和部署自己的私有 MPT 模型，可以从我们的检查点之一开始，也可以从头开始训练。除了基本的MPT-7B之外，我们还发布了三个微调模型：MPT-7B-Instruct，MPT-7B-Chat和MPT-7B-StoryWriter-65k+，最后一个使用65k Token的上下文长度！大型语言模型（LLM）正在改变世界，但对于那些资源丰富的行业实验室之外的人来说，训练和部署这些模型可能非常困难。这导致了一系列以开源LLM为中心的活动，例如Meta的LLaMA系列，EleutherAI的Pythia系列，StabilityAI的StableLM系列以及Berkeley AI Research的OpenLLaMA模型。我们在MosaicML发布了一个名为MPT (MosaicML Pretrained Transformer)的新模型系列，以解决上述模型的局限性，并最终提供一个商业上可用的开源模型，该模型与LLaMA-7B相匹配（并且在许多方面超过LLaMA-7B）。我们的MPT型号系列是：许可用于商业用途（与LLaMA不同）。在大量数据上训练（像LLaMA这样的1T Token与Pythia的300B，OpenLLaMA的300B和StableLM的800B）。得益于ALiBi，准备处理极长的输入（我们训练了高达65k的输入，可以处理高达84k的输入，而其他开源模型为2k-4k）。针对快速训练和推理进行了优化（通过 FlashAttention 和 FasterTransformer)配备高效的开源训练代码。我们在一系列基准上对MPT进行了严格的评估，MPT达到了LLaMA-7B设定的高质量标准。今天，我们将发布基本 MPT 模型和其他三个微调变体，它们演示了在此基本模型上进行构建的多种方法：MPT-7B Base：MPT-7B Base是一款具有6.7B参数的解码器式转换器。它是在1T文本和代码Token上进行训练的，这些Token由MosaicML的数据团队策划。这个基本模型包括用于快速训练和推理的FlashAttention和用于微调和外推长上下文长度的ALiBi。License: Apache-2.0HuggingFace Link: https://huggingface.co/mosaicml/mpt-7b MPT-7B-StoryWriter-65k+MPT-7B-StoryWriter-65k+ 是一款旨在阅读和编写具有超长上下文长度的故事的模型。License: Apache-2.0HuggingFace Link: https://huggingface.co/mosaicml/mpt-7b-storywriterMPT-7B-InstructMPT-7B-Instruct是简短指令的模型。通过在我们在发布的数据集上微调MPT-7B来构建，该数据集源自Databricks Dolly-15k和Anthropic’s Helpful and Harmless数据集。License: CC-By-SA-3.0HuggingFace Link: https://huggingface.co/mosaicml/mpt-7b-instruct MPT-7B-ChatMPT-7B-Chat是一个类似聊天机器人的对话生成模型。通过在 ShareGPT-Vicuna、HC7、Alpaca、Useful and Harmless 和 Evol-Instruct 数据集上微调 MPT-3B 构建。License: CC-By-NC-SA-4.0 (non-commercial use only)HuggingFace Link: https://huggingface.co/mosaicml/mpt-7b-chat 我们希望企业和开源社区能够在此基础上再接再厉：除了模型检查点（checkpoints）之外，我们还开源了整个代码库，用于通过我们新的 MosaicML LLM Foundry 进行预训练、微调和评估 MPT！ 这个版本不仅仅是一个模型检查点：它是一个完整的框架，用于构建强大的LLM，MosaicML一直强调效率，易用性和对细节的严格关注。这些模型是由MosaicML的NLP团队在MosaicML平台上构建的，使用与我们的客户完全相同的工具（可以问问我们的客户，比如Replit！）。我们从头到尾在零人工干预的情况下训练MPT-7B：在440 GPU上训练了9.5 天，MosaicML平台检测并解决了4个硬件故障，并自动恢复了训练运行，并且由于我们所做的架构和优化改进，没有灾难性的损失峰值。可以查看我们empty training logbook for MPT-7B!介绍 Mosaic Pretrained Transformers (MPT)MPT 模型是 GPT 风格的仅解码器转换器，具有多项改进：性能优化的层实现、提供更高训练稳定性的架构更改，以及通过使用 ALiBi 替换位置嵌入（embeddings）来消除上下文长度限制。由于这些修改，客户可以高效地训练MPT模型（40-60%MFU），而不会偏离损耗峰值，并且可以为MPT模型提供标准HuggingFace管道和FasterTransformer。 MPT-7B （基本型号）MPT-7B的能力与LLaMA-7B相匹配，在标准学术任务上优于其他开源7B-20B模型。为了评估模型质量，我们编译了 11 个通常用于上下文学习 （ICL） 的开源基准，并以行业标准的方式对其进行格式化和评估。我们还添加了我们自己策划的 Jeopardy 基准，以评估该模型为具有挑战性的问题提供事实正确答案的能力。有关MPT与其他型号之间的zero-shot性能比较，请参见表1：表 1 - MPT-7B 与 LLaMA-7B 与其他开源模型在学术任务中的zero-shot精度。 MPT-7B和LLaMA-7B在所有任务中都具有相似的质量，每个模型在6个任务中的12个任务中得分最高（以红色表示）。这两种模型的性能都优于其他开源语言模型，甚至是参数计数大得多的模型。为了确保同类比较，我们完全重新评估了每个模型：模型检查点通过我们的开源LLM Foundry评估框架运行，具有相同的（空）提示字符串，没有特定于模型的提示调整。有关评估的完整详细信息，请参阅附录。在之前的基准测试中，我们的设置比单个 GPU 上的其他评估框架快 8 倍，并且无缝地实现了多个 GPU 的线性扩展。对 FSDP 的内置支持使得评估大型模型并使用更大的批量大小来进一步加速成为可能。我们邀请社区使用我们的评估套件进行他们自己的模型评估，并提交包含其他数据集和 ICL 任务类型的拉取请求，以便我们确保进行最严格的评估。MPT-7B-StoryWriter-65k+大多数开源语言模型只能处理最多具有几千个tokens的序列（参见图 1）。但是，借助 MosaicML 平台和 8xA100-40GB 的单个节点，您可以轻松微调 MPT-7B 以处理高达 65k 的上下文长度！处理这种极端上下文长度适应的能力来自ALiBi，这是MPT-7B中的关键架构选择之一。为了展示此功能并让您考虑使用 65k 上下文窗口可以做什么，我们发布了 MPT-7B-StoryWriter-65k+。StoryWriter 从 MPT-7B 对 2500 步进行了微调，这些步骤是 书籍65 语料库中包含的小说书籍的 3k Token摘录。《了不起的盖茨比》的全文不到68k个Token。我们让StoryWriter阅读了《了不起的盖茨比》并生成了一个尾声。我们生成的尾声之一如图 2 所示。StoryWriter在大约20秒内（每分钟约15万字）读完了《了不起的盖茨比》。由于序列长度较长，其“打字”速度比我们的其他MPT-7B型号慢，每分钟约105个单词。尽管 StoryWriter 的上下文长度为 65k 进行了微调，但 ALiBi 使模型能够推断出比训练更长的输入：在《了不起的盖茨比》的情况下为 68k 个令牌，在我们的测试中高达 84k 个标记。图 1 - MPT-7B-StoryWriter-65k+ 与其他模型的训练上下文长度。任何其他开源模型的最长上下文长度为 4k。 GPT-4 的上下文长度为 8k，模型的另一个变体的上下文长度为 32k。图 2 - MPT-7B-StoryWriter-65k+ 为《了不起的盖茨比》写了尾声。尾声的结果是提供《了不起的盖茨比》的全文（大约 68k 个Token）作为模型的输入，后跟“尾声”一词，并允许模型从那里继续生成。MPT-7B-Instruct图3 - 与MPT-7B-Instruct的交互。该模型将格式化为 YAML 的内容正确转换为格式为 JSON 的相同内容。LLM预训练模型根据提供的输入继续生成文本。但在实践中，我们希望LLM将输入视为要遵循的指令。指令微调是训练LLM以这种方式执行指令遵循的过程。通过减少对智能Prompt的依赖，指令微调使LLM更易于访问，直观且可立即使用。指令微调的进展是由 FLAN、Alpaca 和 Dolly-15k 数据集等开源数据集推动的。我们创建了一个商业上可用的指令遵循模型变体，称为MPT-7B-Instruct。我们喜欢Dolly的商业许可证，但想要更多的数据，所以我们用Anthropic的Help&Harmless数据集的一个子集来增强Dolly，在保持商业许可证的同时，数据集大小翻了两番。这里发布的这个新的聚合数据集用于微调MPT-7B，从而产生了MPT-7B-Instruct，这是商业上可用的。有趣的是，我们发现MPT-7B-Instruct是一个有效的指令遵循者。（有关示例交互，请参阅图 3。MPT-1B-Instruct对7万亿个Token进行了广泛的训练，应该可以与更大的dolly-v2-12b竞争，后者的基本模型Pythia-12B只在300亿个Token上进行了训练。我们正在发布MPT-7B-Instruct的代码，权重和在线演示。我们希望MPT-7B-Instruct的小尺寸，有竞争力的性能和商业许可证将立即对社区有价值。MPT-7B-Chat图 4 - 与 MPT-7B-Chat 的交互。与聊天模型的多轮对话，其中它提出了解决问题的高级方法（使用 AI 保护濒危野生动物），然后使用 Keras 在 Python 中提出其中一个的实现。我们还开发了MPT-7B-Chat，MPT-7B的对话版本。MPT-7B-Chat已使用ShareGPT-Vicuna，HC3，Alpaca，Helpand Harmless和Evol-Instruct进行了微调，确保它为各种对话任务和应用程序做好了准备。它使用 ChatML 格式，该格式提供了一种方便且标准化的方式来传递模型系统消息，并有助于防止恶意提示注入。MPT-7B-Instruct专注于为指令遵循提供更自然和直观的界面，而MPT-7B-Chat旨在为用户提供无缝，引人入胜的多回合交互。（有关示例交互，请参阅图 4）与MPT-7B和MPT-7B-Instruct一样，我们将发布MPT-7B-Chat的代码，权重和在线演示。我们如何在 MosaicML 平台上构建这些模型今天发布的模型是由MosaicML NLP团队构建的，但我们使用的工具与MosaicML的每个客户都可以使用的工具完全相同。将MPT-7B视为演示 - 我们的小团队能够在短短几周内构建这些模型，包括数据准备，培训，微调和部署（以及撰写此博客！让我们来看看使用 MosaicML 构建 MPT-7B 的过程：数据我们希望MPT-7B成为高质量的独立型号，并为各种下游用途提供有用的起点。因此，我们的预训练数据来自 MosaicML 策划的来源组合，我们在表 2 中进行了总结，并在附录中进行了详细描述。文本使用EleutherAI GPT-NeoX-20B标记器进行标记化，并且模型在1万亿个令牌（Tokens）上进行了预训练。该数据集强调英语自然语言文本和未来用途的多样性（例如，代码或科学模型），并包括最近发布的 RedPajama 数据集的元素，以便数据集的网络爬虫和维基百科部分包含 2023 年的最新信息。表 2 - MPT-7B 预训练的数据组合。来自十个不同的开源文本语料库的数据混合。使用EleutherAI GPT-NeoX-20B标记器对文本进行标记化，并且模型在根据此组合采样的1T令牌上进行预训练。分词器（Tokenizer）我们使用了EleutherAI’sGPT-NeoX20B tokenizer。此 BPE Tokenizer具有许多理想的特征，其中大多数与标记化代码相关：在包括代码在内的各种数据组合上进行训练（The Pile)应用一致的空格分隔，这与 GPT2 Tokenizer不同包含重复空格字符的标记，允许使用大量重复空格字符对文本进行出色的压缩。Tokenizer的词汇表大小为 50257，但我们将模型词汇表大小设置为 50432。造成这种情况的原因有两个：首先，使其成为128的倍数（如Shoeybi et al.），我们发现在最初的实验中，MFU提高了四个百分点。其次，保留可用于后续 UL2 训练的令牌。高效的数据流我们利用 MosaicML 的 StreamingDataset 将数据托管在标准云对象存储中，并在训练期间有效地将其流式传输到我们的计算集群。训练计算所有MPT-7B模型都使用以下工具在MosaicML平台上进行了训练：计算： 来自甲骨文云的 A100-40GB 和 A100-80GB GPU编排和容错：MCLI 和 MosaicML 平台数据：OCI 对象存储和流式处理数据集 培训软件： Composer， PyTorch FSDP， and LLM Foundry如表 3 所示，几乎所有的训练预算都花在了基础 MPT-7B 模型上，在 440xA100-40GB GPU 花了 ~9.5 天, 花费 ~$200k。模型finetune花费的计算要少得多，而且便宜得多——每个模型的价格在几百到几千美元之间。表 3 - 每个 MPT-7B 型号的训练详细信息。训练时间“是从作业开始到结束的总运行时间，包括检查点、定期评估、重新启动等。“成本”的计算价格为 2 美元/A100-40GB/小时，MosaicML 平台上预留 GPU 的定价为 2.50 美元/A100-80GB/小时。这些培训配方中的每一个都可以完全定制。例如，如果您想从我们的开源MPT-7B开始，并在具有较长上下文长度的专有数据上进行微调，则可以立即在MosaicML平台上执行此操作。再举一个例子，要在自定义域（例如生物医学文本或代码）上从头开始训练新模型，只需使用 MosaicML 的 hero 集群产品保留短期大型计算块即可。只需选择所需的模型大小和令牌预算，将数据上传到 S3 等对象存储，然后启动 MCLI 作业。您将在短短几天内拥有自己的定制LLM！查看我们之前的LLM博客文章，以获取有关培训不同LLM的时间和成本的指导。 在此处查找特定型号配置的最新吞吐量数据。与我们之前的工作一致，所有MPT-7B模型都使用Pytorch FullShardedDataParallelism（FSDP）进行训练，并且没有张量或管道并行性。训练稳定性正如许多团队所记录的那样，在数百到数千个GPU上训练具有数十亿个参数的LLM是非常具有挑战性的。硬件将经常以创造性和意想不到的方式出现故障。损失峰值会破坏训练。团队必须 24/7 全天候“照看”训练运行，以防出现故障，并在出现问题时应用手动干预。查看OPT日志，了解任何培训LLM的人面临的许多危险的坦率例子。在 MosaicML，我们的研究和工程团队在过去 6 个月中孜孜不倦地工作以消除这些问题。因此，我们的MPT-7B训练日志（图5）非常无聊！我们从头到尾在 7 万亿个Token上训练 MPT-1B，无需人工干预。没有损失峰值，没有中游学习率变化，没有数据跳过，自动处理死GPU等。图 5 - （非常平淡的）MPT-7B 训练日志。MPT-7B在1xA9-5GB上进行了440.100天的40T令牌训练。在此期间，训练作业遇到了 4 次硬件故障，所有这些故障都被 MosaicML 平台检测到。每次失败时，运行都会自动暂停并恢复，无需人工干预。图6 - 随时间变化的损耗曲线，突出显示硬件故障和自动恢复。如果作业运行时发生硬件故障，MosaicML平台会自动检测故障，暂停作业，封锁任何损坏的节点，然后恢复作业。在MPT-7B训练运行期间，我们遇到了4次这样的故障，每次作业都会自动恢复。我们是怎么做到的？首先，我们通过架构和优化改进解决了收敛稳定性问题。我们的MPT模型使用ALiBi而不是位置嵌入(positional embeddings)，我们发现这可以提高对损失峰值的弹性。我们还使用 Lion 优化器而不是 AdamW 训练我们的 MPT 模型，后者提供稳定的更新幅度并将优化器状态内存减少一半。其次，我们使用 MosaicML 平台的 NodeDoctor 功能来监控和解决硬件故障，并使用 JobMonitor 功能在解决这些故障后恢复运行。这些功能使我们能够训练MPT-7B，尽管在运行过程中发生了4个硬件故障，但从头到尾都没有人为干预。参见图 6，了解 MosaicML 平台上自动恢复的特写视图。推理MPT 旨在快速、简单且廉价地部署推理。首先，所有MPT模型都是从HuggingFace PretrainedModel基类中子类化的，这意味着它们与HuggingFace生态系统完全兼容。您可以将 MPT 模型上传到 HuggingFace Hub，使用标准管道生成输出，例如 'model.generate（...）'，建立Hugging Face（在这里看到我们的一些！），等等。性能如何？借助MPT的优化层（包括FlashAttention和低精度层范数），MPT-7B在使用“model.generate（...）”时的开箱即用性能。'比其他 1B 型号（如 LLaMa-5B）快 2.7-7 倍。这使得仅使用 HuggingFace 和 PyTorch 即可轻松构建快速灵活的推理管道。但是，如果您真的需要最佳性能怎么办？在这种情况下，请将 MPT 权重直接移植到 FasterTransformer 或 ONNX。查看LLM Foundry的推理文件夹以获取脚本和说明。最后，为了获得最佳托管体验，请直接在 MosaicML 的推理服务上部署 MPT 模型。从 MPT-7B-Instruct 等模型的托管端点开始，和/或部署您自己的自定义模型端点，以实现最佳成本和数据隐私。查看推理博客文章了解更多详情！下一步是什么？这个MPT-7B版本是MosaicML构建和战斗测试开源软件（Composer，StreamingDataset，LLM Foundry）和专有基础设施（MosaicML训练和推理）两年工作的结晶，使客户能够在任何计算提供商，任何数据源上训练LLM，效率，隐私和成本透明 - 并且第一次就让事情顺利进行。我们相信MPT，MosaicML LLM Foundry和MosaicML平台是为私人，商业和社区使用构建自定义LLM的最佳起点，无论您是想微调我们的检查点还是从头开始训练自己的检查点。我们期待看到社区如何基于这些工具和工件进行构建。重要的是，今天的MPT-7B型号只是一个开始！为了帮助我们的客户解决更具挑战性的任务并不断改进他们的产品，MosaicML将继续生产越来越高质量的基础模型。令人兴奋的后续模型已经在训练中。期待很快听到更多关于他们的消息！感觉有帮助的朋友，欢迎赞同、关注、分享三连。^-^编辑于 2023-05-08 15:32・IP 属地黑龙江LLM开源llama赞同 5添加评论分享喜欢收藏申请转载文章被以下专栏收录AI技术与应用专注介绍各方面的AI技术、应用攻略
以太坊中状态树（MPT树）详解 - 知乎
以太坊中状态树（MPT树）详解 - 知乎首发于区块链技术详解切换模式写文章登录/注册以太坊中状态树（MPT树）详解Zarten计算机技术与软件专业技术资格证持证人作者：Zarten知乎专栏：区块链技术详解知乎ID：Zarten简介： 互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励 ！概述 以太坊中采用的是基于账户的模式，也就是说系统中显示记录着每个账户的当前状态信息。每个账户都是由一个160位的地址组成，对应的账户中的状态包含余额（balance）、交易次数（nonce）及合约账户中的code(代码)、存储(stroge)。那么以太坊中采用什么数据结构来管理所有账户地址对应的状态的呢？这里先说结论：采用的是MPT（Merkle Patricia Trie）树，即默克尔前缀树。为了更好的介绍MPT树，接下来会依次介绍：Trie树和Patricia Trie树。Trie树trie树又称为字典树或前缀树，是树形数据结构中的一种。trie树体现在使用公共的前缀作为树的组成部分，例如：英文组合分别有以下6种：taatantcininnint上面6个英文组合最终的整个trie树如下图所示：从上图中可以看到，trie树有如下的一些特点：根节点不包含字符，除根节点以外每个节点只包含一个字符从根节点到某一个节点，自上而下，路径上经过的字符连接起来就为目的节点对应的字符串。每个节点的分支数目取决于key值的元素的取值范围，比如上图中每个节点会产生26个英文字母的分叉。trie树的查找效率取决于key的长度，key长度越长当然也就越耗时。因此trie树最大的优点在于针对字符串的搜索方面有很好的性能，在查找过程中最大限度的减少了无关字符的比较。trie树缺点从上图可以看到，非根节点存储的是一个字符，这样会导致树的层级会比较高，因此导致trie树会消耗大量的内存。下面通过Patricia Trie树来改进。Patricia Trie树Patricia Trie树是一种升级版的trie树，不同之处在于：非根节点可以存储字符串，而不是只能存储字符，也就是路径压缩了的trie，因此节省了在内存空间的开销。同样6个英文组合分别如下：taatantcininnintpatricia trie树如下图所示：从上图可看到：patricia trie树进行了路径压缩，占用的空间更少。需要注意的一点是，上图中若再插入一个新单词，原本压缩的路径可能需要扩展开来，这取决于插入的键的分布的稀疏情况，分布越稀疏，压缩的效果就越好。所以在以太坊中的地址为160位的，因此地址可能有2^160种，这个数值非常大，所以非常稀疏，因此patricia trie树很适合以太坊。而以太坊真正使用的树是MPT（Merkle Patricia Trie）树。MPT（Merkle Patricia Trie）树MPT（Merkle Patricia Trie）树，即默克尔前缀树，是默克尔树和前缀树的结合。（默克尔树前面文章讲过，这里不再讲解，有兴趣的可以翻阅我之前文章）。MPT树节点类型MPT树的节点有以下4种类型：扩展节点（Extension Node）：只能有一个子节点。分支节点（Branch Node）：可以有多个节点。叶子节点（Leaf Node）：没有子节点。空节点：空字符串。节点类型如下图示：从上图看到，Key只在扩展节点和叶子节点中存在，分支节点中没有Key。Value用来存储节点数值的，不同的节点类型对应的Value值也会不同，主要如下几种情况：1.若节点类型是叶子节点，Value值存储的是一个数据项的内容。2.若节点类型是扩展节点，Value值存储的是孩子节点的哈希值。3.若节点类型是分支节点，Value值存储的是刚好在分支节点结束时的值，若没有节点在分支节点中结束时，Value值没有存储数据。如下图所示，分支节点中Value值存储的是ab的值11：一个完整的MPT树示例需要存储的(key,value)如下所示：最后的MPT树如下所示：需要注意的点1.（key,value）中的value是经过RLP序列化后再存储的。2.MPT由下至上计算出的根哈希值存储在区块头中Root字段中，如下图所示：3.每次发布新区块，MPT树中部分节点状态会改变，但改变并非在原地修改，而是新建一些分支，保留原本状态。当仅仅有新发生改变的节点才需要修改，其他未修改节点直接指向前一个区块中的对应节点，如下图所示：思考：由于以太坊中出块时间15s左右，会产生很多的分叉，保持历史记录的一个好处是，当某些分叉需要回滚时可以更好的查看历史记录。总结以太坊为了实现账户模式，其内部的数据结构复杂性也比比特币系统高一些。从中可以学习到以太坊的设计妙处所在。发布于 2020-04-20 21:07区块链(Blockchain)区块链技术赞同 258 条评论分享喜欢收藏申请转载文章被以下专栏收录区块链技术详解区块链技术深
一文读懂以太坊存储数据核心数据结构：MPT-腾讯云开发者社区-腾讯云
以太坊存储数据核心数据结构：MPT-腾讯云开发者社区-腾讯云区块链大本营一文读懂以太坊存储数据核心数据结构：MPT关注作者腾讯云开发者社区文档建议反馈控制台首页学习活动专区工具TVP最新优惠活动文章/答案/技术大牛搜索搜索关闭发布登录/注册首页学习活动专区工具TVP最新优惠活动返回腾讯云官网区块链大本营首页学习活动专区工具TVP最新优惠活动返回腾讯云官网社区首页 >专栏 >一文读懂以太坊存储数据核心数据结构：MPT一文读懂以太坊存储数据核心数据结构：MPT区块链大本营关注发布于 2019-05-22 00:25:372.6K0发布于 2019-05-22 00:25:37举报文章被收录于专栏：区块链大本营区块链大本营作者 | JouyPub出品 | 区块链大本营MPT (Merkle Patricia Tries) 是以太坊存储数据的核心数据结构，它是由 Merkle Tree 和 Patricia Tree 结合的一种树形结构，理解 MPT 有助于我们更好的理解以太坊的数据存储。在了解 MPT 数据结构之前，我们需要先来看看基本的 Tree 结构和 Merkle Tree、Patricia Tree。Trie 字典树Trie 树，又称前缀树或字典树，是一种有序树，用于保存关联数组，其中的键通常是字符串。一个节点的所有子孙都有相同的前缀，也就是这个节点对应的字符串，而根节点对应空字符串。上图是一棵 Trie 树，表示了字符串集合{“a”, “to”, “tea”, “ted”, “ten”, “i”, “in”, “inn”} ，从上图中我们可以看出Trie树的特点：根节点不包含字符，除根节点外的每一个子节点都包含一个字符。从根节点到某一个节点，路径上经过的字符连接起来，为该节点对应的字符串。每个节点的所有子节点包含的字符互不相同。但是从上面的结构也可以看出一个问题：高度不可控，如下图所示。所以就有了 Patricia 树 (压缩前缀树)，后面会介绍到。Merkle树Merkle树，也被称为 Hash Tree，中文名称：默克尔树，主要用于数据集较大时的文件校验。其主要特点为：叶节点存储着数据块的 Hash（如：文件块、一段数据集）非叶子节点 (包括中间节点和根节点) 存储着对应子节点 Hash 值串联字符串之后的 Hash 值。从上图中可以看出：
在最底层，和哈希列表一样，我们把数据分成小的数据块，有相应地哈希和它对应；往上走，并不是直接去运算根哈希，而是把相邻的两个哈希合并成一个字符串，然后运算这个字符串的哈希，这样每两个哈希就结婚生子，得到了一个”子哈希“。如果最底层的哈希总数是单数，那到最后必然出现一个单身哈希，这种情况就直接对它进行哈希运算，所以也能得到它的子哈希再往上推，依然是一样的方式，可以得到数目更少的新一级哈希；最终必然形成一棵倒挂的树，到了树根的这个位置，这一代就剩下一个根哈希了，我们把它叫做 Merkle Root。对于这种数据结构，在实际应用中会有哪些应用场景了。举个例子，我们知道现在从网上下载文件，很多都是 P2P 下载，文件会切分成很多小的数据块，每个数据块从不同的来源上下载，这些机器可以认为是不稳定或不可信的，文件下载完之后我们需要校验文件的完整性，这时我们总不能把文件再次切分然后分别计算它的 Hash 和下载前的 Hash 做对比吧，这时就需要用到 Merkle Tree。在下载前，先从可靠的源获得文件的 Merkle Tree 树根。下载后，在合并文件之前先对比小文件的Hash是否一样，如果一样就认为是可靠的，如果不一样，就判定文件被损坏，从新的来源重新下载。文件合并之后，计算小数据块的 Hash 并最终计算根 Hash，也成为 Merkle Root，然后对比根 Hash 是否一致。这样就避免了对整个文件进行 Hash 计算，因为当文件太大时，这种计算是很耗时。Patricia树Patricia 树，或称 Patricia trie，或 crit bit tree，压缩前缀树，是一种更节省空间的 Trie。对于基数树的每个节点，如果该节点是唯一的儿子的话，就和父节点合并。MPT (Merkle Patricia Tree)上面我们介绍了Merkle Tree和Patricia Tree，而MPT（Merkle Patricia Tree），顾名思义就是这两者的结合。MTP树种的节点包含空节点、叶子节点、扩展节点和分支节点。Nibble：它是 key 的基本单元，是一个四元组（四个bit位的组合例如二进制表达的 0010 就是一个四元组）**空节点****：简单的表示空，在代码中是一个空串。叶子节点 (leaf)：只有两个元素，分别为key和value，表示为[key,value]的一个键值对，其中key是key的一种特殊十六进制编码，value是value的RLP编码。扩展节点 (extension)：也是 [key，value] 的一个键值对，但是这里的value是其他节点的hash值，这个hash可以被用来查询数据库中的节点。也就是说通过hash链接到其他节点。分支节点 (branch)：分支节点有17个元素，回到 Nibble，四元组是 key 的基本单元，四元组最多有16个值。所以前16个必将落入到在其遍历中的键的十六个可能的半字节值中的每一个。第17个是存储那些在当前结点结束了的节点(例如， 有三个 key,分别是 (abc ,abd, ab) 第17个字段储存了ab节点的值)这里还有一些知识点需要了解的，为了将 MPT 树存储到数据库中，同时还可以把MPT树从数据库中恢复出来，对于 Extension 和 Leaf 的节点类型做了特殊的定义：如果是一个扩展节点，那么前缀为0，这个0加在 key 前面。如果是一个叶子节点，那么前缀就是1。同时对 key 的长度就奇偶类型也做了设定，如果是奇数长度则标示1，如果是偶数长度则标示0。以太坊的每一个区块头，并非只包含一棵 MPT 树，而是包含了三棵 MPT 树，分别对应了四种对象：State Trie 区块头中的状态树key => sha3(以太坊账户地址address)value => rlp(账号内容信息account)Transactions Trie 区块头中的交易树key => rlp(交易的偏移量 transaction index)每个块都有各自的交易树，且不可更改Receipts Trie 区块头中的收据树key = rlp(交易的偏移量 transaction index)每个块都有各自的交易树，且不可更改Storage Trie 存储树存储只能合约状态每个账号有自己的Storage TrieMPT树种还有一个重要的概念：特殊的十六进制前缀(hex-prefix, HP)编码来对key编码，我们先来了解一下编码定义规则：RAW 原始编码，对输入不做任何变更HEX 十六进制编码：a）RAW编码输入的每个字符分解为高4位和低4位。比如key=>"bob",b的ASCII十六进制编码为0x62，o的ASCII十六进制编码为0x6f，分解成高四位和第四位，16表示终结 0x10，最终编码结果为[6 2 6 15 6 2 16]；b）如果是叶子节点，则在最后加上Hex值0x10表示结束；c）如果是分支节点不附加任何Hex值。HEX-Prefix 十六进制前缀编码：输入key结尾为0x10，则去掉这个终止符key之前补一个四元组这个Byte第0位区分奇偶信息，第1位区分节点类型如果输入key的长度是偶数，则再添加一个四元组0x0在flag四元组后将原来的key内容压缩，将分离的两个byte以高四位低四位进行合并十六进制前缀编码相当于一个逆向的过程，比如输入的是[6 2 6 15 6 2 16]，根据第一个规则去掉终止符16。根据第二个规则key前补一个四元组，从右往左第一位为1表示叶子节点，从右往左第0位如果后面key的长度为偶数设置为0，奇数长度设置为1，那么四元组0010就是2。根据第三个规则，添加一个全0的补在后面，那么就是20.根据第三个规则内容压缩合并，那么结果就是[0x20 0x62 0x6f 0x62]官方有一个详细的结构的示例：怎么样，看了这篇文章，对MPT和树状结构有基本的了解了吗？未来，营长将奉上更多优质的技术普及文章，敬请期待！推荐阅读：确实, 5G与物联网离不开区块链!
焦虑的 BAT、不安的编程语言，揭秘程序员技术圈生存现状！
深扒! 币安被盗的7074.18枚比特币去哪了?比 Java 更具争议的 PHP，处处留坑？
“我月入 3 万，每天都只想跳槽”
一文回顾AI绘画的成长之路：从简笔画到真实人脸生成
漫画：图的 “多源” 最短路径
如何使用「番茄法」高效的写算法题？本文参与 腾讯云自媒体分享计划，分享自微信公众号。原始发表：2019-05-19，如有侵权请联系 cloudcommunity@tencent.com 删除编程算法区块链本文分享自 区块链大本营 微信公众号，前往查看如有侵权，请联系 cloudcommunity@tencent.com 删除。本文参与 腾讯云自媒体分享计划 ，欢迎热爱写作的你一起参与！编程算法区块链评论登录后参与评论0 条评论热度最新登录 后参与评论推荐阅读LV.关注文章0获赞0相关产品与服务区块链云链聚未来，协同无边界。腾讯云区块链作为中国领先的区块链服务平台和技术提供商，致力于构建技术、数据、价值、产业互联互通的区块链基础设施，引领区块链底层技术及行业应用创新，助力传统产业转型升级，推动实体经济与数字经济深度融合。产品介绍2024新春采购节领券社区专栏文章阅读清单互动问答技术沙龙技术视频团队主页腾讯云TI平台活动自媒体分享计划邀请作者入驻自荐上首页技术竞赛资源技术周刊社区标签开发者手册开发者实验室关于社区规范免责声明联系我们友情链接腾讯云开发者扫码关注腾讯云开发者领取腾讯云代金券热门产品域名注册云服务器区块链服务消息队列网络加速云数据库域名解析云存储视频直播热门推荐人脸识别腾讯会议企业云CDN加速视频通话图像分析MySQL 数据库SSL 证书语音识别更多推荐数据安全负载均衡短信文字识别云点播商标注册小程序开发网站监控数据迁移Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档Copyright © 2013 - 2024 Tencent Cloud.All Rights Reserved. 腾讯云 版权所有登录 后参与评论00
MPT树详解 - whyaza - 博客园
MPT树详解 - whyaza - 博客园
会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式 ...
退出登录
注册
登录
望着时间滴答滴答的流过，我不曾改变过 . . .
why
不想连个回忆都没有.
首页
新随笔
管理
MPT树详解
@目录MPT树定义MPT树的作用是什么？前缀树与默克尔树前缀树默克尔树三种节点类型MPT中的MerkleHP编码官方表示形式相关MPT树参考目录
MPT树定义
一种经过改良的、融合了默克尔树和前缀树两种树结构优点的数据结构，以太坊中，MPT是一个非常重要的数据结构，在以太坊中，帐户的交易信息、状态以及相应的状态变更，还有相关的交易信息等都使用MPT来进行管理，其是整个数据存储的重要一环。交易树，收据树，状态树都是采用的MPT结构。
ps:
交易树：记录交易的状态和变化。每个块都有各自的交易树，且不可更改
收据树(交易收据)：交易收据的存储
状态树(账户信息)：帐户中各种状态的保存。如余额等。
Storage Trie 存储树 ：存储只能合约状态 ，每个账号有自己的Storage Trie 。
回想我们我们上一次所讲的RLP：
在网络节点的本地以trie树的形式存储，发送给客户端的时候序列化成列表。这不就是RLP的作用嘛，用来对trie树种所有的条目进行编码
这个树，在以太坊，指的就MPT树
MPT树的作用是什么？
存储任意长度的key-value键值对数据；
提供了一种快速计算所维护数据集哈希标识的机制；
提供了快速状态回滚的机制；
提供了一种称为默克尔证明的证明方法，进行轻节点的扩展，实现简单支付验证；
前缀树与默克尔树
前缀树
前缀树（又称字典树），用于保存关联数组，其键（key）的内容通常为字符串。前缀树节点在树中的位置是由其键的内容所决定的，即前缀树的key值被编码在根节点到该节点的路径中。
如下图所示，图中共有6个叶子节点，其key的值分别为（1）to（2）tea（3）ted（4）ten（5）A（6）inn。
默克尔树
merkle树是自底向上构建的。在下图的例子中，首先将L1-L4四个单元数据哈希化，然后将哈希值存储至相应的叶子节点。
将相邻两个节点的哈希值合并成一个字符串，然后计算这个字符串的哈希，得到的就是这两个节点的父节点的哈希值。
重要结论：
若两棵树的根哈希一致，则这两棵树的结构、节点的内容必然相同。
分析：
在p2p网络下载网络之前，先从可信的源获得文件的Merkle Tree树根。一旦获得了树根，就可以从其他从不可信的源获取Merkle tree。通过可信的树根来检查接受到的MerkleTree。如果Merkle Tree是损坏的或者虚假的，就从其他源获得另一个Merkle Tree，直到获得一个与可信树根匹配的MerkleTree。
三种节点类型
知道了Merkle Tree，知道了Patricia Tree，MPT（Merkle Patricia Tree）就是这两者混合后的产物。下面我们介绍一下MPT树的三种节点类型
分支结点（branch node）：包含16个分支，以及1个value
扩展结点（extension node）：只有1个子结点
叶子结点（leaf node）：没有子结点，包含一个value
需要注意的是：Key-value 这里的value存储的是key，key存储在路径上
详细解释：
叶子节点，表示为[key,value]的一个键值对，其中key是key的一种特殊十六进制编码。
扩展节点，也是[key，value]的一个键值对，但是这里的value是其他节点的hash值，这个hash可以被用来查询数据库中的节点。也就是说通过hash链接到其他节点。
分支节点，因为MPT树中的key被编码成一种特殊的16进制的表示，再加上最后的value，所以分支节点是一个长度为17的list，前16个元素对应着key中的16个可能的十六进制字符，如果有一个[key,value]对在这个分支节点终止，最后一个元素代表一个值，即分支节点既可以搜索路径的终止也可以是路径的中间节点。
叶子节点和扩展节点是新增加的！（对比于前缀树来说）
MPT中的Merkle
即指向下一级节点的指针是使用 节点的确定性加密hash，而不是传统意义上下一级节点地址的指针
如果给定的trie的根哈希是公开的，则任何人都可以 通过给出给定path上的所有节点, 来证明在给定path上存在一个给定值 ，对于攻击者,不可能提供一个不存在的（key，value）对的证明, 因为根哈希最终基于它下面的所有哈希，所以任何修改都会改变根哈希。
HP编码
HP-编码：特殊的十六进制前缀编码
引入：对nibble和节点奇偶性进行编码
Nibble是什么？
引进一种特殊的终止符标识来标识key所对应的是值是真实的值，还是其他节点的hash。如果终止符标记被打开，那么key对应的是叶节点，对应的值是真实的value。如果终止符标记被关闭，那么值就是用于在数据块中查询对应的节点的hash。
为什么需要对节点奇偶性进行编码？
数据最小的表示单位为一位16进制，如1、a等，但在编程实现中，数据的最小表示单位往往是byte（8bit，2位16进制数），这样在用byte来表示一串奇数长度的16进制串时会出现问题。
例如"5b3"和"5b30"，直接转成byte都是5b30。
举例:
对"0x5b3ed"编码（奇数位）
"0x5b3ed" = "0005 1011 0003 1110 1101" t=0 时, "0001"+"0005 1011 0003 1110 1101"->"00010005 10110003 11101101"->"0x15b3ed"
t !=0时 "0011"+"0005 1011 0003 1110 1101"->"00110005 10110003 11101101"->"0x35b3ed“
对"0x5b3e"编码（偶数位）
"0x5b3e" = "0005 1011 0003 1110" t=0 时, "0000"+"0005 1011 0003 1110 1101"->"00000005 10110003 11101101"->"0x005b3e"
t !=0时 "0010"+"0005 1011 0003 1110 1101"->"00100005 10110003 11101101"->"0x205b3e"
这里的t就是是否结束的标志位
最低位表示奇偶性，第二低位编码终止符状态。
最低位为0的时候表示偶数位置，反之奇数。
第二低位为1的时候表示结束，反之不结束。
官方表示形式
这里的prefix就是HP编码！对终止符的状态和奇偶性进行编码。最低位表示奇偶性，第二低位编码终止符状态。
总共有2个扩展节点，2个分支节点，4个叶子节点。 右边是叶子节点的情况，左边代表的是节点的prefix（HP编码）
这就是一个状态树的存储形式，其实他应当长的样子，我们可以细细想一下，他的key被编码成一种特殊的16进制的表示，value是一些rlp后的数据，而且比上图要大的多的多。
相关MPT树
现在，我们来回看一下，状态、存储以及交易树使用的MPT树。
首先说，全局状态树，这个全局状态树包含了以太坊网络中每一个账户的一组键值对。
对全局状态树的几点说明：
状态前缀树包含了以太坊网络中每一个账户的一组键值对。
他的Key是一个 160 位的标识符（以太坊账户的地址）。
全局状态树中的 “值” 是通过编码以太坊账户中的如下细节来得到的（使用RLP的方法）：
nonce 值
余额
存储前缀树根节点哈希
代码哈希
我们可以从下图很清晰的了解：
存储树是智能合约数据存储的位置，每一个以太坊账户都有自己的存储树。
本图接上图；
参考目录
[1]. 深入浅出以太坊MPT(Merkle Patricia Tree)
[2]. 以太坊学习（2）MPT树--白话版
[3]. Merkle Patricia Tree 梅克尔帕特里夏树（MPT）规范
[4]. merkle树、Trie树、MPT树、以太坊中的那些树
posted @
2018-11-29 19:58
whyaza
阅读(6891)
评论(0)
编辑
收藏
举报
会员力量，点亮园子希望
刷新页面返回顶部
Copyright © 2024 whyaza
Powered by .NET 8.0 on Kubernetes
汉达精密 MPT | 公司简介
汉达精密 MPT | 公司简介
｜
Language
Chinese(Simplified)
Chinese(Traditional)
English
Japanese
｜网站地图｜联络我们
关於汉达
公司简介
经营理念
品质控制
经营团队
关系企业
汉达影片
汉达新闻
制程方案
By Function
Tougher & Durable
Lighter & Thinner
Stylish
Green
By Material
Plastic
Metal
Silicone Rubber
高玻纤机壳
By RHCM
RHCM
RHCM+半结晶材料
By Products
脚踏车
游戏机
投影机
数码相机
Ultrabook
手持式装置
平板计算机
汽车零组件
笔记型计算机
服务提供
机构方案
模型制作
模具制作
塑料射出
金属冲压
生质材料
永续发展
碳足迹
冲突矿产
社会责任
研发能力
回收再生
绿色材料
自动化制程
HSF
人力资源
员工福利
学习规划
加入我们
关于汉达 > 公司简介
公司简介经营理念品质控制经营团队关系企业汉达影片
MPT的永续发展有哪些单元？回收再生丶绿色材料…
MPT创立于1999年，是业内少数具备世界级设计暨制造能力的专业机构零组件供应商，拥有服务国际大型客户的丰富经验，包含国内外知名品牌客户及OEM／ODM代工大厂。
为扩大制造实力和服务范畴，MPT近几年开始透过企业合并综效来创造优势，2007年MPT与台湾上市企业神基科技正式合并，以雄厚的财务能力和电子产品研发实力做为后盾，提供客户更完整的机电整合解决方案。2009年，投资全球第三大镁铝合金厂－华孚科技股份有限公司以及华孚精密金属科技（常熟）有限公司，进一步丰厚MPT在轻金属机构件的制造实力。
主要业务为机构零组件的打样、模具设计、开模、塑胶射出、金属冲压、涂装、印刷及后段组装；可提供从模型到量产端，完整的机构解决方案。产品应用范围横跨4C类别，包括：消费性电子产品（Consumer electronics）、电脑产品(Computer）、通讯产品（Communication）及汽车产品（Car）范畴，不管是大量生产还是小量多样，MPT均可以依据客户不同的需求，制造全方位客制化的产品，提供客户完整设计实力、快速制造能力与有效率的客户服务。
在创新方面，MPT的RHCM（高温高速成型技术）以不断精进技术的技术，获得许多国内大型OEM／ODM厂商青睐，是目前资讯产业界中应用RHCM制程技术最纯熟、应用范围最广的机构件厂商。同时，在轻金属机构件方面，亦拥有业界唯一拥有半固态射出成型（Thixomolding）与压铸成型（Die-Casting）等镁铝成型双项制程技术。
展望未来，MPT将继续秉持以客为尊的信念，持续提升产品的附加价值，提供客户最优质、最值得信赖的产品和服务，成为机构件产业技术创新的领导者。
关於汉达 │ 汉达新闻 │ 制程方案 │ 服务提供 │ 永续发展 │ 人力资源 │ 网站地图 │ 联络我们 │ 隐私权宣告
│ 使用条款 │
苏ICP备18029873号-2 Copyright © 2010 Mitac Precision Technology Corporation and / or any of its affiliates. All Rights Reserved V2.0
现代投资组合理论（MPT） | Investor's wiki
现代投资组合理论（MPT） | Investor's wiki
Investor's wiki
Search
Search
zh
中文
en
Englishde
Deutschit
Italianofr
Françaisru
Русскийes
Españolzh
中文hi
हिन्दीar
العربيةpt
Portuguêsms
Bahasa Melayuko
한국어tr
Türkçeja
日本語nl
Nederlandspl
Polskino
Norsksv
Svenskais
Íslenskafi
Suomi
Navigation
Home
Glossary
投资股票债券隐蔽性个人理财Fundamental Analysis技术分析贸易银行业税收
Disclaimer
Terms of Use
Privacy Policy
Cookie Policy
Navigation
Home
Glossary
投资股票债券隐蔽性个人理财Fundamental Analysis技术分析贸易银行业税收
Disclaimer
Terms of Use
Privacy Policy
Cookie Policy
现代投资组合理论（MPT）
投资量化分析
什么是�代投资组��论（MPT）？
�代投资组��论 (MPT) 是一��用的方法，用�选择投资以在���的�险水平内最大化其整体�报。
ç¾�国ç»�æµ�å¦å®¶å“ˆé‡ŒÂ·é©¬ç§‘维茨（Harry Markowitz ）在他的论文“投资组å�ˆé€‰æ‹©â€�ä¸ç�‡å…ˆæ��出了这一ç�†è®ºï¼Œè¯¥è®ºæ–‡äº� 1952 å¹´å�‘表在《金è��æ�‚志》上。他å��æ�¥å› 其在ç�°ä»£æŠ•èµ„组å�ˆç�†è®ºæ–¹é�¢çš„工作而è�·å¾—诺è´�尔奖。
MPT ç�†è®ºçš„一个关键组æˆ�éƒ¨åˆ†æ˜¯å¤šæ ·åŒ–ã€‚å¤§å¤šæ•°æŠ•èµ„è¦�么是高é£�险高å›�报，è¦�么是ä½�é£�险ä½�å›�报。 Markowitz 认为，投资者å�¯ä»¥é€šè¿‡åŸºäº�对个人é£�险承å�—能力的评估选择两者的最佳组å�ˆæ�¥è�·å¾—最佳结æ�œã€‚
�解�代投资组��论（MPT）
�代投资组��论认为，任何给定投资的�险和�报特��应�独看待，而应通过它如何影�整体投资组�的�险和�报�评估。也就是说，投资者�以�建由多�资产组�的投资组�，�而在没有更高�险的情况下�得更大的�报。
作为替代方案，�期望的预期�报水平开始，投资者�以�建能够产生该�报的�险最�的投资组�。
æ ¹æ�®æ–¹å·®å’Œç›¸å…³æ€§ç‰ç»Ÿè®¡æŒ‡æ ‡ï¼Œå�•ä¸ªæŠ•èµ„的表ç�°ä¸�如它对整个投资组å�ˆçš„å½±å“�é‡�è¦�。
���的�险
MPT �设投资者���险，这�味�对�给定的�报水平，他们更喜欢�险较�的投资组�而�是�险较高的投资组�。�际上，�险规��味�大多数人应该投资�多�资产类别。
投资组å�ˆçš„预期å›�报计算为å�•ä¸ªèµ„产å›�æŠ¥çš„åŠ æ�ƒå’Œã€‚如æ�œæŠ•èµ„组å�ˆåŒ…å�«å››ä¸ªç‰æ�ƒé‡�的资产，预期å›�报ç�‡ä¸º 4%ã€�6%ã€�10% å’Œ 14%，则投资组å�ˆçš„预期å›�报为：
(4% x 25%) + (6% x 25%) + (10% x 25%) + (14% x 25%) = 8.5%
投资组å�ˆçš„é£�险是æ¯�个资产的方差和æ¯�对资产的相关性的函数。为了计算四资产组å�ˆçš„é£�险，投资者需è¦�å››ç§�资产的方差和å…个相关值ä¸çš„æ¯�ä¸€ä¸ªï¼Œå› ä¸ºæœ‰å››ç§�资产的å…ç§�å�¯èƒ½çš„两ç§�资产组å�ˆã€‚ç”±äº�资产相关性，总投资组å�ˆé£�é™©æˆ–æ ‡å‡†å·®ä½�äº�åŠ æ�ƒå’Œè®¡ç®—的值。
MPT 的好处
MPT 对�试图建立多元化投资组�的投资者�说是一个有用的工具。事�上，交易所交易基金 (ETF) 的�长通过让投资者更容易�得更广泛的资产类别，使 MPT 更具相关性。
例如，股票投资者å�¯ä»¥é€šè¿‡å°†éƒ¨åˆ†æŠ•èµ„组å�ˆæŠ•å…¥æ”¿åºœå€ºåˆ¸ ETF æ�¥é™�ä½�é£�险。由äº�政府债券ä¸�è‚¡ç¥¨å‘ˆè´Ÿç›¸å…³ï¼Œå› æ¤æŠ•èµ„组å�ˆçš„方差将显ç�€é™�ä½�。由äº�è¿™ç§�å‡�å°‘æ�Ÿå¤±çš„效æ�œï¼Œåœ¨è‚¡ç¥¨æŠ•èµ„组å�ˆä¸æ·»åŠ å°‘é‡�的国债投资ä¸�会对预期收益产生很大影å“�。
寻找负相关
å�Œæ ·ï¼ŒMPT å�¯ç”¨äº�通过将 10% 的资金投入å°�盘价值指数基金或 ETF æ�¥é™�ä½�ç¾�国国债投资组å�ˆçš„波动性。尽管å°�盘价值股票本身的é£�险远高äº�ç¾�国国债，但它们通常在高通胀时期表ç�°è‰¯å¥½ï¼Œè€Œå€ºåˆ¸è¡¨ç�°ä¸�ä½³ã€‚å› æ¤ï¼ŒæŠ•èµ„组å�ˆçš„整体波动性ä½�äº�完全由政府债券组æˆ�的情况。æ¤å¤–，预期å›�报更高。
ç�°ä»£æŠ•èµ„组å�ˆç�†è®ºå…�许投资者æ�„建更有效的投资组å�ˆã€‚æ¯�个å�¯èƒ½çš„资产组å�ˆéƒ½å�¯ä»¥ç»˜åˆ¶åœ¨å›¾è¡¨ä¸Šï¼ŒX 轴为投资组å�ˆçš„é£�险，Y 轴为预期å›�报。该图æ�示了投资组å�ˆæœ€ç�†æƒ³çš„组å�ˆã€‚
例如，å�‡è®¾æŠ•èµ„组å�ˆ A 的预期å›�报ç�‡ä¸º 8.5%ï¼Œæ ‡å‡†å·®ä¸º 8%。å�‡è®¾æŠ•èµ„组å�ˆ B 的预期å›�报ç�‡ä¸º 8.5%ï¼Œæ ‡å‡†å·®ä¸º 9.5%。投资组å�ˆ A å°†è¢«è®¤ä¸ºæ›´æœ‰æ•ˆï¼Œå› ä¸ºå®ƒå…·æœ‰ç›¸å�Œçš„预期å›�报但é£�险较ä½�。
�以绘制一��上倾斜的曲线���所有最有效的投资组�。这�曲线称为有效�沿。
投资äº�曲线下方的投资组å�ˆæ˜¯ä¸�å�¯å�–çš„ï¼Œå› ä¸ºå®ƒä¸�会在给定的é£�险水平下最大化å›�报。
对 MPT 的批评
也许对 MPT 最严�的批评是它基�方差而�是下行�险�评估投资组�。
也就是说，在ç�°ä»£æŠ•èµ„组å�ˆç�†è®ºä¸‹ï¼Œä¸¤ä¸ªå…·æœ‰ç›¸å�Œæ–¹å·®å’Œå›�报水平的投资组å�ˆè¢«è®¤ä¸ºæ˜¯å�Œæ ·å�¯å�–的。由äº�ç»�常出ç�°å°�é¢�äº�æ�Ÿï¼Œä¸€ä¸ªæŠ•èµ„组å�ˆå�¯èƒ½ä¼šå‡ºç�°è¿™ç§�差异。由äº�罕è§�但惊人的下é™�，å�¦ä¸€ä¸ªå�¯èƒ½ä¼šå‡ºç�°è¿™ç§�差异。大多数投资者更喜欢ç»�常出ç�°å°�é¢�äº�æ�Ÿï¼Œè¿™æ ·æ›´å®¹æ˜“å¿�å�—。
�代投资组��论(PMPT) 试图通过最�化下行�险而�是方差�改进�代投资组��论。
＃＃ 强调
�代投资组��论对试图使用 ETF �建高效和多元化投资组�的投资者很有用。
更关注下行�险的投资者�能更喜欢��代投资组��论 (PMPT) 而� MPT。
�代投资组��论 (MPT) 是一��以被规��险的投资者用��建多元化投资组�的方法，该投资组�在没有����的�险水平的情况下最大化其�报。
＃＃ 常问问题
�代投资组��论有什么好处？
ç�°ä»£æŠ•èµ„组å�ˆç�†è®ºå�¯ç”¨äº�使投资组å�ˆå¤šæ ·åŒ–，以便在没有更大é£�险的情况下è�·å¾—更好的整体å›�报。ç�°ä»£æŠ•èµ„组å�ˆç�†è®ºï¼ˆå’Œå¤šæ ·åŒ–）的å�¦ä¸€ä¸ªå¥½å¤„是它å�¯ä»¥é™�ä½�波动性。å�šåˆ°è¿™ä¸€ç‚¹çš„最佳方法是选择具有负相关性的资产，例如ç¾�国国债和å°�ç›˜è‚¡ã€‚å½’æ ¹ç»“åº•ï¼Œç�°ä»£æŠ•èµ„组å�ˆç�†è®ºçš„ç›®æ ‡æ˜¯å°½å�¯èƒ½åˆ›å»ºæœ€æœ‰æ•ˆçš„投资组å�ˆã€‚
�代投资组��论和��代投资组��论有什么区别？
ç�°ä»£æŠ•èµ„组å�ˆç�†è®ºï¼ˆMPT）是个人投资的一个çª�ç ´ã€‚å®ƒè¡¨æ˜�，ä¿�守的投资者å�¯ä»¥é€šè¿‡é€‰æ‹©ä½�é£�险和高é£�险投资的组å�ˆæ�¥å�šå¾—更好，而ä¸�是完全选择ä½�é£�险的选择。更é‡�è¦�的是，它表æ˜�更有价值的选择ä¸�会å¢�åŠ é¢�外的整体é£�险。这是投资组å�ˆå¤šæ ·åŒ–的关键å±�性。å��ç�°ä»£æŠ•èµ„组å�ˆç�†è®ºï¼ˆPMPT）ä¸�这些基本å�‡è®¾å¹¶ä¸�矛盾。但是，它改å�˜äº†è¯„估投资é£�险的公å¼�ï¼Œä»¥çº æ£å…¶å¼€å�‘人员认为的å�Ÿå§‹ç¼ºé™·ã€‚两ç§�ç�†è®ºçš„追éš�者都使用ä¾�èµ–äº� MPT 或 PMPT 的软件æ�¥æ�„建ä¸�他们的é£�险水平相匹é…�的投资组å�ˆå¯»æ‰¾ã€‚
有效å‰�沿在 MPT ä¸çš„é‡�è¦�性是什么？
有效边界是�代投资组��论的基石。这�线表示投资组�将为最��险水平�供最高水平的�报。当投资组��在有效边界的�侧时，相对�其预期�报，它具有更大的�险。当它��有效边界的斜�时，它�供了相对��险较�的�报水平。
Stock Insights | iOS & Android
Investing ideas and signals aggregator
Disclaimer
Terms of Use
Privacy Policy
Cookie Policy
September 16, 2023, 20