向业务价值的大胆转变
“这些问题的背后,核心是互联网平台对算法技术的应用。”中国消费者协会近日召开网络消费领域算法规制与消费者保护座谈会,中国消费者协会秘书长朱剑桥坦言,技术进步和应用总体上有利于增进人类福利,同时也会造成新的困扰和伤害。在网络消费领域,可能会减少消费者选择的时间成本,但是也会让消费者面临信息安全、歧视对待等消费风险。 “流量至上”“利润至上”的算法应用,可能会使经营者行为有悖法律、有失道德、有违伦理。“网络经营者应当严格遵守法律规定,诚信应用算法,反对利用技术手段,欺骗、隐瞒真实情况,欺凌消费者。”中消协呼吁,在算法应用中,网络经营者应当加强自律,守法经营,承担应尽义务和责任,同时,各行业组织应加强引领和督导,使网络经营者合理合规地应用算法,净化行业风气,促进良性发展,有效维护消费者合法权益。 此外,应加强算法应用的有效规制。中消协建议,有关行政部门加强相互协调,细化监管职责;完善执法依据,做好规章废改衔接;加强对算法应用的分级标识和分类管理,对涉及公共利益、生命健康、财产权利等的算法应用强化监管,对具有市场支配地位的平台经营者的算法应用强化监管,对涉及价值观、道德观特别是未成年人教育的算法应用强化监管。 大数据杀熟维权难 集体救济机制待建 2019年3月,北京市消协发布的《大数据“杀熟”问题调查报告》(以下简称《报告》)显示,88.32%的被调查者认为大数据“杀熟”现象普遍或很普遍,没有被调查者认为大数据“杀熟”现象不存在。有56.92%的被调查者表示有过被大数据“杀熟”的经历。 其中,被调查者在购物类、在线旅游类和打车类App或网站经历大数据“杀熟”最为常见,其他依次为外卖类、视频类和电影类App或网站。其中,经历过前三类App或网站大数据“杀熟”的被调查者分别达到44.14%、39.5%和37.17%。 北京市消协副秘书长陈凤翔指出,表面上是通过数据,针对消费者推送服务,但从深层次看,大数据“杀熟”的本质是部分经营者对消费者个人信息过度采集和随意使用,使消费者的知情权、选择权、公平交易权以及个人信息保护权利未得到充分尊重和保证。 短期来看,大数据“杀熟”或许能给企业赚取更多利润,但从长远来看却透支消费者对品牌的信任。专家认为,大数据“杀熟”背离最基本商业伦理和企业价值,违背诚信经营原则。 究其原因,陈凤翔分析说,一方面是算法本质是互联网的一个编程技术,这种编程技术由人为参与和输入,有的编程者并不懂得法律,编制过程中会触及消费者的底线,或者侵害消费者权利。 另一方面,技术演算出来造成消费者的伤害。这种伤害可能是初期算法的歧视,或者算法在计算机背后所产生的副作用。 《报告》显示,遭遇大数据“杀熟”后,26.72%的被调查者选择向消协或市场监管部门投诉,25.56%的被调查者选择不再去这个商家消费,17.43%的被调查者选择忍气吞声、自认倒霉,11.71%的被调查者选择与商家理论并要求赔偿,10.46%的被调查者选择卸载商家App或删除网址,8.13%的被调查者选择在社交网站或向媒体曝光。
大数据“杀熟”具有隐蔽性,维权往往难以举证。陈凤翔建议,通过公益诉讼方式,推动社会各界协同共治。 6 HBase 常见面试题 6.1 Hbase 中 RowKey 的设计原则 RowKey 长度原则 二进制码流RowKey 最大长度 64Kb,实际应用中一般为 10-100bytes,以 byte[] 形式保存,一般设计定长。建议越短越好,因为HFile是按照KV存储的Key太大浪费空间。 RowKey 散列原则 RowKey 在设计时候要尽可能的实现可以将数据均衡的分布在每个 RegionServer 上。 RowKey 唯一原则 RowKey 必须在设计上保证其唯一性,RowKey 是按照字典顺序排序存储的,因此设计 RowKey 时可以将将经常读取的数据存储到一块。 6.2 HBase 在大数据体系位置 其实就简单的把HBase当成大数据体系下的DataBase来用就行,任何可以分析HBase的引擎比如MR、Hive、Spark等框架连接上HBase都可以实现控制。比如你可以把Hive跟HBase进行关联,Hive中数据不再由HDFS存储而是存储到HBase中,并且关联后Hive中添加数据在HBase中可看到,HBase中添加数据Hive也可看到。 6.3 HBase 优化方法 6.3.1 减少调整 HBase中有几个内容会动态调整,如Region(分区)、HFile。通过一些方法可以减少这些会带来I/O开销的调整。 Region 没有预建分区的话,随着Region中条数的增加,Region会进行分裂,这将增加I/O开销,所以解决方法就是根据你的RowKey设计来进行预建分区,减少Region的动态分裂。 HFile MemStore执行flush会生成HFile,同时HFilewe年过多时候也会进行Merge, 为了减少这样的无谓的I/O开销,建议估计项目数据量大小,给HFile设定一个合适的值。 6.3.2 减少启停 数据库事务机制就是为了更好地实现批量写入,较少数据库的开启关闭带来的开销,那么HBase中也存在频繁开启关闭带来的问题。 关闭 Compaction。 HBase 中自动化的Minor Compaction和Major Compaction会带来极大的I/O开销,为了避免这种不受控制的意外发生,建议关闭自动Compaction,在闲时进行compaction。 6.3.3 减少数据量 开启过滤,提高查询速度 开启BloomFilter,BloomFilter是列族级别的过滤,在生成一个StoreFile同时会生成一个MetaBlock,用于查询时过滤数据 使用压缩 一般推荐使用Snappy和LZO压缩 6.3.4 合理设计 HBase 表格中 RowKey 和 ColumnFamily 的设计是非常重要,好的设计能够提高性能和保证数据的准确性。 RowKey设计
列族的设计
6.4 HBase 跟关系型数据库区别 (编辑:南通站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |