数据需要减肥
数据需要减肥
原文：https://medium.com/hackernoon/data-needs-to-lose-weight-f34758dfa453
首先，上面的视频不是我的。我不拥有它。所有权利属于 HBO 和所有帮助制作硅谷精彩节目的人。万一 HBO 希望我撤掉它，我会很乐意这么做。与此同时，去看看硅谷吧。太棒了。
这将是一个有点“技术含量”的帖子，但我会努力让每个人都感兴趣。
数据和信息无处不在。我们所做的一切都会产生数据，随着智能技术在生活方式/健身市场的兴起，这只会变得越来越真实。从我们睡得如何、醒来是否正确，到我们午餐吃了什么、和谁一起吃的，一切都将被追踪。信息如此之多，以至于很难跟踪什么是重要的，什么是多余的。我们创建数据点，跟踪不需要跟踪的东西，只是因为我们可以。
这只是文本和数字数据。随着如此多的数据、信息和媒体被创建出来，我们需要将所有的东西存储在更小、更易访问的地方。
几天前的晚上，当我把我的滑索视频从我的 GoPro 上传到我的电脑时，我面临着存储/速度/传输的容易程度和质量之间的权衡。我可以以 720p 格式导出我的视频，每 5 分钟的视频使用 500Mb，或者我可以以 4k 格式导出，每段视频使用 1Gb。带着把这个视频发给家人的目标，我被迫选择了 720p。除此之外，我想从夏威夷发送近 100 张照片(我开始有 1000 多张)。作为直接来自相机的原始文件，每个文件大约 40 兆字节。即使经过编辑并转换成 JPEG 格式，它们每个仍然是 4mb。这意味着对于一个 17 分钟的视频和 100 张图片，我将需要 3Gb 以上的媒体空间和传输能力。品质下降。如果我用 4k 制作整个视频并发送更大的图片，我将需要超过 5gb。
Gmail 现在最终接受每封电子邮件高达 10g 的数据，前提是你将媒体作为 Google Drive 链接而不是附件发送。因此，从技术上来说，我可以把所有的东西都以最高的质量送过去。但是，传输速度会慢得离谱，一般来说，5gb 的短视频和几张图片是不可接受的。
上面的视频剪辑来自 HBO 的《神奇秀》，硅谷。主角创造了一种无损压缩算法，可以将媒体压缩到难以置信的小文件大小。这意味着媒体可以快速流式传输或发送，并且可以轻松存储大量数据和媒体。遗憾的是，这种算法并不存在。截至 2014 年，最好的压缩工具之一 7z/7-Zip 只能将文件压缩到原始大小的 46%。这意味着在最好的情况下，我的 3Gb 需求将被压缩到大约 1Gb。对于传统电子邮件来说仍然太大，而且不可持续。如果我每个周末拍 100 张照片，每周制作一个 7 分钟的 YouTube 视频，我每年需要 400Gb 以上的空间。如果我做得完美的话。我的 17 分钟 GoPro 视频从 40 分钟的视频中删减。我可以每年烧掉 1tb 的数据。
这只是我。仅我一个人，今年就可能创建超过 1tb 的数据。据 IBM 称，我们每天共同创造 2.5 万亿字节的数据。也就是每天 25 亿字节。很明显，我们需要更好地存储和管理数据。我每周都在与我的几千兆字节作斗争。我们每天要如何管理万亿字节的数据，这个数字还在增长？
压缩。需要有人去做这件事，而且要快。如果数据可以减肥；为了适应更小的空间和更快地移动，事情对我们所有人来说都会变得更容易。想象一下把整个互联网都存在一个闪存盘里。我们并不是没有在这个领域取得飞跃。我有存储几百兆字节的闪存驱动器。这些是几年前制作的。现在，我们可以出去买一个能存储几兆字节的闪存盘。但是接下来呢？压缩可以使 250Mb 闪存驱动器与 2Tb 闪存驱动器相同，而 2Tb 闪存驱动器则是一个无限存储池。大容量硬盘无处不在，但如果没有更好的压缩技术，我们无论如何都会烧坏硬盘。
有人去做魔笛手。
黑客中午是黑客如何开始他们的下午。我们是 @AMI 家庭的一员。我们现在接受投稿，并乐意讨论广告&赞助机会。
要了解更多信息，请阅读我们的“关于”页面、在脸书上点赞/给我们发消息，或者简单地说， tweet/DM @HackerNoon。